推理后训练不必喂满语料：两级收缩把优化预算压到0.22%，9B学生仍能打
核心概要
推理后训练不再把全部教师思维链等量喂给学生。此前扩大语料会推高训练成本，却换不来成比例的性能提升。这里先用蒙特卡洛推理树估计中间状态的过程不确定性，把语料收缩成教师侧候选池，再在监督微调中按学生当前损失在线路由，在多个推理基准和模型家族上把优化预算压到全量监督微调的0.22%至1.91%，推理表现保持或提升。
深度剖析
推理蒸馏的监督量可以大幅压缩，而学生模型的推理成绩不降反升。 此前的做法是扩大教师生成的思维链语料，训练成本随之上升，性能却没有成比例增长。 在DAPO-17K上以Qwen3-8B为教师、Qwen3.5-4B和9B为学生，方法只用全量监督微调0.22%至1.91%的优化预算，多数基准上持平或更高。
监督的取舍不看最终答案对错，而看中间推理状态的分叉程度。 以往的数据筛选多依据正确性、难度或质量，把已验证正确的思维链视为同等有价值。 在同样只保留已验证正确轨迹、且候选池大小匹配的条件下，按不确定性挑选比随机挑选的平均成绩高1.6%到4.5%。
教师侧不确定性画像与学生侧路由各自贡献，合起来效果最好。 单独使用任一阶段都能提升准确率，但两阶段针对的是不同环节。 消融显示教师侧不确定性改善候选监督的信息量，学生侧路由把更新集中到学生尚未掌握的轨迹上，二者组合取得最佳成绩。
启示与展望
这套方法面向以思维链蒸馏做推理后训练的场景，教师侧画像只需前缀条件下的采样和结果校验，因此适用于开放权重教师和仅API可用的闭源教师。已验证的适用范围包括Qwen3.5-4B与9B、Gemma-4-E4B-IT、Llama-3.2-3B-Instruct和Mistral-7B-Instruct等学生；弱到强迁移的设定中，教师为Qwen3-1.7B，学生为Qwen3.5-4B和Qwen3-14B。
效率数字随收缩比例变化，报告的最低优化预算为0.22%，对应全量监督微调约450分之一的训练曝光；在更激进的收缩下成绩仍保持稳定，但不同基准之间存在波动。教师侧画像一旦构建完成即可跨学生复用，其价值取决于前缀采样与结果校验是否可得。