强化学习后训练视觉-语言-动作模型时,参数更新集中在仅占动作专家14.83%–27.58%的Timestep Modules,且其低秩方向可预测并提升任务成功率
该工作系统分析了强化学习(RL)如何重塑基于流匹配的视觉-语言-动作(VLA)模型,发现RL在π0.5与GR00T N1.5/N1.6等模型、LIBERO/ManiSkill/MetaWorld/CALVIN等基准上诱导出高度集中于动作专家Timestep Modules的低秩参数更新,这些模块以14.83%–27.58%的参数占比承载了不成比例的RL性能增益,其shift向量更新方向能以最高99.6%的ROC-AUC预测任务成功,且沿该方向引导可在不额外RL训练的情况下进一步提升策略表现。