混合推理模型的无思考模式RL增益大半来自思考泄漏：8B上抹掉8维思考子空间，增益掉75%

在无思考模式下做可验证奖励强化学习，混合推理模型的准确率提升伴随着输出与内部状态一起向它自己的思考模式靠拢。 此前的常见做法是在无思考模式下训练并只报告无思考准确率的提升，把提升当作新学到的推理能力。 Qwen3-8B准确率从0.17升到0.43，回答从2.7k增至7.2k token，反思词从1.3增至13.0；原模型作为裁判认为其回答更像思考模式的比例从50%升到94%，中层激活沿思考方向的偏移达到原模型两种模式激活差的0.56。

增益不是新能力，而是原模型思考模式里已有推理行为的重新激活。 仅凭行为相似无法排除RL学到恰好相似的新解法，因此需要在权重、激活和注意力头上做干预。 把RL更新按倍数放大后，模型开始生成无思考模式下从未出现的</think>，位置与思考模式几乎重合，准确率最高到0.72但不超过原模型思考模式的0.74；8B上把8维思考子空间替换为原模型取值，增益去掉75%，反向替换把50%的增益转移给原模型，而PCA对照只去掉22%、随机子空间只去掉3%。

这种偏移沿着读取空思考块的注意力头传递，并能在GRPO的训练信号里找到来源。 此前不清楚网络里哪一部分承载模式差异，也不清楚只依赖答案对错的奖励为何会把模型推向思考模式。 原模型中约90%的头对空思考块注意力不足1%，只有5到7个头达到10%以上；敲掉注意力最强的5%的头，效果接近直接删除该块，而随机敲掉同样数量的头几乎没有影响；单个头L18H19在8B上可解释44%的激活偏移，L19H13在1.7B上为54%，这些头同时属于对空思考块注意力最强的一批；同一组内被优势加权强化的回答比被压制的回答更像思考模式，用该信号走一步梯度会把模型推向思考状态。

结论建立在Qwen3-1.7B、4B、8B三个规模上，训练用GRPO在DAPO-Math-17k上进行，评测为AIME 2022–2024共90题、每题最多32,768 token。权重缩放实验的倍数在同一批90题上探索，属于对更新方向的探索性探测，大倍数模型已超出训练所见范围。激活替换与注意力头分析针对8B为主，注意力头实验在固定回答的前2,048 token上以教师强制方式读取。

作者把增益来源表述为“大部分”来自思考泄漏，而非全部；权重缩放实验的倍数在同一批AIME题上探索，峰值不是留出值。训练信号分析给出的是组间关联，优势由组内正确数决定，因此更像思考模式的回答也出现在更难的题上。一步梯度实验探测的是初始梯度方向，不是真实训练步。作者指出，激活偏移主要来自冻结权重作用于变化后的输入，这一事实本身并不能区分复用预训练计算与新的计算。