跳到主要内容
检索

Wenxuan Zhu

1 篇关联报道

订阅更新
  1. arXiv

    混合推理模型的无思考模式RL增益大半来自思考泄漏:8B上抹掉8维思考子空间,增益掉75%

    在Qwen3-1.7B、4B、8B上以GRPO做无思考模式强化学习,准确率提升的同时回答变长、反思词增多、内部激活向原模型的思考模式偏移。权重缩放、激活替换与注意力头干预三类实验显示,这部分增益主要来自对原模型已有思考能力的重新激活,而非学到新的推理行为;8B上替换8维思考子空间可去掉75%的增益,反向替换可把50%的增益转移给原模型。

已读完全部报道