混合推理模型的无思考模式RL增益大半来自思考泄漏:8B上抹掉8维思考子空间,增益掉75%
在Qwen3-1.7B、4B、8B上以GRPO做无思考模式强化学习,准确率提升的同时回答变长、反思词增多、内部激活向原模型的思考模式偏移。权重缩放、激活替换与注意力头干预三类实验显示,这部分增益主要来自对原模型已有思考能力的重新激活,而非学到新的推理行为;8B上替换8维思考子空间可去掉75%的增益,反向替换可把50%的增益转移给原模型。
在Qwen3-1.7B、4B、8B上以GRPO做无思考模式强化学习,准确率提升的同时回答变长、反思词增多、内部激活向原模型的思考模式偏移。权重缩放、激活替换与注意力头干预三类实验显示,这部分增益主要来自对原模型已有思考能力的重新激活,而非学到新的推理行为;8B上替换8维思考子空间可去掉75%的增益,反向替换可把50%的增益转移给原模型。
已读完全部报道