蒸馏不再只认更强的老师：任务训练出的策略差能跨模型传，规模差几乎传不动

策略差迁移不再要求老师比学生强，只要老师相对自己的参考模型有提升即可。 传统同策略蒸馏直接让学生逼近老师的输出分布，因此需要老师明显强于学生，老师与学生能力接近或更弱时收益有限，甚至可能损害学生已有能力。 把代理专家与代理参考之间的对数概率比解释为 KL 正则化策略优化中的隐式奖励后，传统同策略蒸馏成为其中一个特例，迁移对象从老师的绝对分布变成老师训练前后的策略变化。

决定迁移效果的是策略差里是否含有任务方向，而不是差有多大。 此前相对策略迁移只在专家由强化学习从参考模型得到这一窄类源对上验证过，其他来源的策略差是否同样有用并不清楚。 以 Qwen3-8B 为目标时，强化学习和监督微调得到的任务优化差都稳定提升目标，而四个只由模型规模造成的差提升很小；任务优化对与规模差对造成的更新幅度相当，目标增益却相差明显。

专家提供可迁移的能力，参考模型负责滤掉两者共有的行为，只留下残差。 以往工作主要展示迁移增益，很少分析专家、参考与目标三者如何共同决定结果。 固定专家为 Qwen3-4B-RL 时，把参考从 Qwen3-4B 换成早期强化学习检查点，代理增益从 0.0484 降到 0.0000；换成 Qwen2.5-3B 则给出最大的目标增益 1.2307，尽管其代理增益也最大。

同一条有用的策略差并非对每个目标都有效，目标能否跟上并泛化才是关键。 此前研究多在相同代际、相近规模的学生上评估特定源对，跨先验或跨能力水平的迁移边界不清楚。 四个 Qwen3 代理对分别施加到六个目标上，Qwen3 目标增益为正，Qwen2.5 目标在 Qwen3 参考下几乎为零；把参考换成 Qwen2.5-3B 后，Qwen2.5 目标转为正增益，而 Qwen3 目标仍然成功。

报告覆盖数学推理与代码生成两类任务，模型取自 Qwen3 与 Qwen2.5 系列，评估使用八个数学基准与三个代码基准。源材料把这一形式化描述为任意到任意的策略迁移，并说明传统同策略蒸馏是其中一个特例。

源材料指出，迁移失败并非目标或策略差本身的固有限制，而是参考模型决定了策略差以何种形式呈现给目标；模型族匹配是实验中一种有效选择。源材料还说明，代码任务上的增益总体小于数学任务，但符号与相对次序在两类任务间保持一致。