arXiv来源发表:
蒸馏时学生先写错，教师也跟着跑偏：SPTA先让教师学会从学生的半截推理接着讲
核心概要
在线策略蒸馏让学生自己生成推理轨迹来训练，但学生的前缀可能带着错误或教师不熟悉的写法，前缀越长，教师逐词给出的监督越不可靠。SPTA在蒸馏开始前先用随机长度的学生前缀训练教师，以最终答案是否正确为奖励，让教师学会从学生造成的状态里把推理拉回正轨，而不是模仿学生的推理；随后照常做在线策略蒸馏，蒸馏目标不变。在数学推理基准上，采用SPTA的学生平均表现优于标准在线策略蒸馏，也优于使用任务级强化学习适配教师的在线策略蒸馏。
深度剖析
在线策略蒸馏的训练对象从教师自己生成的轨迹换成了学生实际走出的轨迹，教师因此要在学生写出的半截推理上继续给监督。 学生生成的前缀可能包含推理错误，或采用教师不熟悉的模式，这会让教师逐词监督的可靠性下降，而且前缀越长这种退化越明显。 在数学推理基准上，采用SPTA的学生平均表现高于标准在线策略蒸馏，也高于使用任务级RLVR适配教师的在线策略蒸馏。
做法是在蒸馏开始之前先改造教师，让它习惯被问到的那些状态。 具体是先收集随机长度的学生 rollout 前缀，再用带可验证奖励的强化学习（RLVR，按最终答案是否正确给奖励）持续训练教师从这些前缀往后续写。 训练时把每个前缀当作上下文、只奖励正确的最终答案，教师学到的是从学生造成的状态中恢复，而不是模仿学生的推理；之后用适配后的教师执行标准在线策略蒸馏，蒸馏目标不做改动。
启示与展望
已展示的范围是数学推理基准上的学生平均表现对比，比较对象为标准在线策略蒸馏和使用任务级RLVR适配教师的在线策略蒸馏；适配后的教师随后用于标准在线策略蒸馏，蒸馏目标保持不变。
材料以摘要形式呈现，未给出具体基准名称、模型规模或提升幅度；前缀越长退化越明显这一说法也未附定量刻画。