自蒸馏的教师也要学会教：TeachBack 双向偏好让 Qwen3 数学均分最高涨 4.3 分
在线自蒸馏让同一个模型在只给题目时当学生、在附上参考解答时当教师，但参考解答会让教师给出又短又依赖答案的推理，学生学不到探索与自我纠错。TeachBack 把参考推理的末尾一段当作可选工作笔记注入教师提示，并同时优化两个方向的偏好：教师轨迹在只给题目的条件下应优于学生轨迹，学生轨迹在带特权信息的条件下反过来塑造教师。在 Qwen3-1.7B、4B、8B 上，数学平均分相对基座分别提高 4.3、2.2、2.5 分，骑士与无赖逻辑题平均分分别提高 6.1、3.9、7.5 分。