Xue Zhang

在线策略蒸馏让学生自己生成推理轨迹来训练，但学生的前缀可能带着错误或教师不熟悉的写法，前缀越长，教师逐词给出的监督越不可靠。SPTA在蒸馏开始前先用随机长度的学生前缀训练教师，以最终答案是否正确为奖励，让教师学会从学生造成的状态里把推理拉回正轨，而不是模仿学生的推理；随后照常做在线策略蒸馏，蒸馏目标不变。在数学推理基准上，采用SPTA的学生平均表现优于标准在线策略蒸馏，也优于使用任务级强化学习适配教师的在线策略蒸馏。

在线策略蒸馏让学生自己生成推理轨迹来训练，但学生的前缀可能带着错误或教师不熟悉的写法，前缀越长，教师逐词给出的监督越不可靠。SPTA在蒸馏开始前先用随机长度的学生前缀训练教师，以最终答案是否正确为奖励，让教师学会从学生造成的状态里把推理拉回正轨，而不是模仿学生的推理；随后照常做在线策略蒸馏，蒸馏目标不变。在数学推理基准上，采用SPTA的学生平均表现优于标准在线策略蒸馏，也优于使用任务级强化学习适配教师的在线策略蒸馏。