自蒸馏的推理增益经不起换题：代码题上只在训练过的题目里有效，梯度方向还常与策略梯度相反

自蒸馏在推理任务上的增益并不稳定地迁移到新问题：代码任务上，训练时见过的题目分数上升，但换一批没见过的题目后不再有优势。 此前报告的是在 LiveCodeBench v6 上的整体提升，而该评测的训练与评测使用同一批编程题，因此没有干净地度量泛化。 把题目切成互不相交的两半后，在 Qwen3-8B、Qwen3-14B 和 Olmo-3-7B-Instruct 上各训练 200 步、四个随机种子，策略梯度方法在未见题目上分别提升约 3.7、5.2、2.6 分，而自蒸馏方法变化约 -2.5、-0.5、-9.9 分。

科学推理和工具使用上的域内提升，换到其他领域后变成下降，而策略梯度方法基本保持原有水平。 此前报告自蒸馏在这些领域优于策略梯度方法，但没有检验跨领域的表现。 在五个科学推理与工具使用领域上分别训练 Qwen3-8B，两者域内平均准确率接近（自蒸馏 与策略梯度 ），但在其中四个领域，自蒸馏把域外平均准确率拉低约 1 到 5 分，策略梯度则小幅提升约 0.5 到 2 分。

数学推理上的提升来自把教师的思考模式搬给学生，而不是把参考答案这类特权信息传下去。 此前把增益归因于教师对参考解的推理迁移，但教师与学生同时存在两处差异：是否看到参考解，以及是否开启思考模式。 固定教师思考模式后，把参考解换成另一题的参考解或直接去掉，教师逐词概率几乎不变；开启教师思考使非思考评测平均准确率提升约 3.6、4.4、5.6、6.4 分（Qwen3-1.7B 到 14B），而替换参考解只带来约 0.1 到 1.4 分变化。

自蒸馏的更新方向与在留出问题上直接优化期望回报的策略梯度方向不一致，甚至常常相反。 此前把自蒸馏解释为近似的策略改进，理由是它的梯度与策略梯度对齐。 在 Qwen3 系列上，策略梯度与留出策略梯度的余弦相似度为正（约 0.02 到 0.10），而各 OPSD 变体为负（约 -0.01 到 -0.10），SDPO 在 Qwen3-8B 上也指向相反方向。

这项工作考察的是 SDPO 与 OPSD 两种自蒸馏配方，覆盖代码、科学推理、工具使用和数学四类可验证任务，模型限于 Qwen3 系列与 Olmo-3-7B。适合正在选择推理后训练方案、或准备把特权信息接入训练信号的研究人员与工程师阅读。作者指出，带工具外壳、对比式目标或对邻近轨迹反馈做更复杂聚合的更新方法不在考察范围内，这些方向可能缓解所观察到的问题。

作者说明结论限于 Qwen3 与 Olmo 两个模型家族以及 SDPO、OPSD 两种配方，未覆盖更新的自蒸馏技术；同时实验集中在可验证领域，作者承认自蒸馏在不可验证场景仍有使用价值。在 Olmo-3-7B-Instruct 上，策略梯度与各 OPSD 变体的余弦相似度虽为正，但刀切误差与数值本身相当，无法与零区分。