# 弱到强迁移

该工作指出 Direct-OPD 的 token 级对数比奖励只衡量相对变化，可以在教师与参考检查点分配给学生的候选 token 的概率质量趋于消失时保持不变，而教师-参考 JSD 与两个方向的 KL 会随之消失；据此提出 S²D-OPD，按教师-参考 JSD 对学生采样状态排序并屏蔽低散度状态上的监督，每条回答只保留最高的 10%，在两个教师对和四个 1.7B 至 8B 学生模型上，于 AIME 与 HMMT 留出基准的八个设定中有七个优于稠密 Direct-OPD、第八个持平，且不需要额外前向传播。

该工作指出 Direct-OPD 的 token 级对数比奖励只衡量相对变化，可以在教师与参考检查点分配给学生的候选 token 的概率质量趋于消失时保持不变，而教师-参考 JSD 与两个方向的 KL 会随之消失；据此提出 S²D-OPD，按教师-参考 JSD 对学生采样状态排序并屏蔽低散度状态上的监督，每条回答只保留最高的 10%，在两个教师对和四个 1.7B 至 8B 学生模型上，于 AIME 与 HMMT 留出基准的八个设定中有七个优于稠密 Direct-OPD、第八个持平，且不需要额外前向传播。

该研究在Qwen2.5（0.5B–14B）数学推理上系统刻画同族在线策略蒸馏（OPD）的缩放性质，发现训练初期存在“有效迁移区”，其中留出准确率随学生初始化的token级反向KL平方根近似线性上升，并拟合出以学生规模、教师规模与教师得分为自变量的幂律，可预测峰值准确率与迁移速率，且每个弱到强配对中学生的峰值都超过其教师本身。

该研究在Qwen2.5（0.5B–14B）数学推理上系统刻画同族在线策略蒸馏（OPD）的缩放性质，发现训练初期存在“有效迁移区”，其中留出准确率随学生初始化的token级反向KL平方根近似线性上升，并拟合出以学生规模、教师规模与教师得分为自变量的幂律，可预测峰值准确率与迁移速率，且每个弱到强配对中学生的峰值都超过其教师本身。

该工作提出 Allspark 训练与推理框架：训练时让一个弱教师模型与同源冻结副本交替续写同一段推理链、由冻结副本给出最终答案，仅用弱模型 rollout 更新教师；推理时把冻结副本换成更强的学生模型并保持双方权重不变，在 Qwen3-1.7B/4B 的数学与推理任务以及 Inkling-Small 教师对 Inkling、Kimi-K2.6、Nemotron-3-Ultra 的 ARC-AGI-2 评测中观察到准确率提升，并给出准确率与保留 token 的权衡刻画。

该工作提出 Allspark 训练与推理框架：训练时让一个弱教师模型与同源冻结副本交替续写同一段推理链、由冻结副本给出最终答案，仅用弱模型 rollout 更新教师；推理时把冻结副本换成更强的学生模型并保持双方权重不变，在 Qwen3-1.7B/4B 的数学与推理任务以及 Inkling-Small 教师对 Inkling、Kimi-K2.6、Nemotron-3-Ultra 的 ARC-AGI-2 评测中观察到准确率提升，并给出准确率与保留 token 的权衡刻画。