推理能力不必整段搬运:只留RL更新最强方向,Qwen视觉数学涨8.55分
把语言模型强化学习阶段的参数更新单独取出,只保留每个矩阵中最强的一个方向并按原幅度缩放,再注入视觉语言模型的语言模块,这种免训练迁移在三个模型家族、五个视觉推理基准的15组比较中有12组优于整段更新插值,Qwen接收方在MathVision上提升8.55个百分点。对照实验显示,仅匹配更新幅度或使用任意低秩方向都无法复现这一增益,说明后训练中获得的能力与可跨模型迁移的部分并不等同。
把语言模型强化学习阶段的参数更新单独取出,只保留每个矩阵中最强的一个方向并按原幅度缩放,再注入视觉语言模型的语言模块,这种免训练迁移在三个模型家族、五个视觉推理基准的15组比较中有12组优于整段更新插值,Qwen接收方在MathVision上提升8.55个百分点。对照实验显示,仅匹配更新幅度或使用任意低秩方向都无法复现这一增益,说明后训练中获得的能力与可跨模型迁移的部分并不等同。
已读完全部报道