Hugging Face

该研究在500M至7B四种参数规模、四种预训练数据混合、五种预预训练任务和最高100B token的预训练预算下系统评估合成预预训练（PPT），发现其下游性能与token效率收益在规模上持续存在（3B规模至少节省21B预训练token），但没有一致证据表明收益来自语法先验，收益只出现在能改善长程检索的PPT任务上，且对代码与数学占比不敏感、仅在缺少网页文本时消失。

该研究在500M至7B四种参数规模、四种预训练数据混合、五种预预训练任务和最高100B token的预训练预算下系统评估合成预预训练（PPT），发现其下游性能与token效率收益在规模上持续存在（3B规模至少节省21B预训练token），但没有一致证据表明收益来自语法先验，收益只出现在能改善长程检索的PPT任务上，且对代码与数学占比不敏感、仅在缺少网页文本时消失。

该工作指出 Direct-OPD 的 token 级对数比奖励只衡量相对变化，可以在教师与参考检查点分配给学生的候选 token 的概率质量趋于消失时保持不变，而教师-参考 JSD 与两个方向的 KL 会随之消失；据此提出 S²D-OPD，按教师-参考 JSD 对学生采样状态排序并屏蔽低散度状态上的监督，每条回答只保留最高的 10%，在两个教师对和四个 1.7B 至 8B 学生模型上，于 AIME 与 HMMT 留出基准的八个设定中有七个优于稠密 Direct-OPD、第八个持平，且不需要额外前向传播。

该工作指出 Direct-OPD 的 token 级对数比奖励只衡量相对变化，可以在教师与参考检查点分配给学生的候选 token 的概率质量趋于消失时保持不变，而教师-参考 JSD 与两个方向的 KL 会随之消失；据此提出 S²D-OPD，按教师-参考 JSD 对学生采样状态排序并屏蔽低散度状态上的监督，每条回答只保留最高的 10%，在两个教师对和四个 1.7B 至 8B 学生模型上，于 AIME 与 HMMT 留出基准的八个设定中有七个优于稠密 Direct-OPD、第八个持平，且不需要额外前向传播。