Yibo Zhao

该工作指出 Direct-OPD 的 token 级对数比奖励只衡量相对变化，可以在教师与参考检查点分配给学生的候选 token 的概率质量趋于消失时保持不变，而教师-参考 JSD 与两个方向的 KL 会随之消失；据此提出 S²D-OPD，按教师-参考 JSD 对学生采样状态排序并屏蔽低散度状态上的监督，每条回答只保留最高的 10%，在两个教师对和四个 1.7B 至 8B 学生模型上，于 AIME 与 HMMT 留出基准的八个设定中有七个优于稠密 Direct-OPD、第八个持平，且不需要额外前向传播。

该工作指出 Direct-OPD 的 token 级对数比奖励只衡量相对变化，可以在教师与参考检查点分配给学生的候选 token 的概率质量趋于消失时保持不变，而教师-参考 JSD 与两个方向的 KL 会随之消失；据此提出 S²D-OPD，按教师-参考 JSD 对学生采样状态排序并屏蔽低散度状态上的监督，每条回答只保留最高的 10%，在两个教师对和四个 1.7B 至 8B 学生模型上，于 AIME 与 HMMT 留出基准的八个设定中有七个优于稠密 Direct-OPD、第八个持平，且不需要额外前向传播。