Suorong Yang

推理后训练不再把全部教师思维链等量喂给学生。此前扩大语料会推高训练成本，却换不来成比例的性能提升。这里先用蒙特卡洛推理树估计中间状态的过程不确定性，把语料收缩成教师侧候选池，再在监督微调中按学生当前损失在线路由，在多个推理基准和模型家族上把优化预算压到全量监督微调的0.22%至1.91%，推理表现保持或提升。

推理后训练不再把全部教师思维链等量喂给学生。此前扩大语料会推高训练成本，却换不来成比例的性能提升。这里先用蒙特卡洛推理树估计中间状态的过程不确定性，把语料收缩成教师侧候选池，再在监督微调中按学生当前损失在线路由，在多个推理基准和模型家族上把优化预算压到全量监督微调的0.22%至1.91%，推理表现保持或提升。