自蒸馏的教师也要学会教：TeachBack 双向偏好让 Qwen3 数学均分最高涨 4.3 分
核心概要
在线自蒸馏让同一个模型在只给题目时当学生、在附上参考解答时当教师，但参考解答会让教师给出又短又依赖答案的推理，学生学不到探索与自我纠错。TeachBack 把参考推理的末尾一段当作可选工作笔记注入教师提示，并同时优化两个方向的偏好：教师轨迹在只给题目的条件下应优于学生轨迹，学生轨迹在带特权信息的条件下反过来塑造教师。在 Qwen3-1.7B、4B、8B 上，数学平均分相对基座分别提高 4.3、2.2、2.5 分，骑士与无赖逻辑题平均分分别提高 6.1、3.9、7.5 分。
深度剖析
在线自蒸馏里，教师拿到参考解答后生成的轨迹即使答案正确，也未必适合只拿到题目的学生学习，因为直接看到完整解答会让推理变短、跳过探索与验证。 此前的做法主要调整学生如何使用已经生成的教师信号，例如在关键 token 上锚定冻结策略、对比正确与错误提示、或去掉只由参考解答带来的成分，教师本身如何被构造仍留作上游问题。 在 256 道 DeepMath 题、每题 4 次采样、16K 生成上限的审计中，只给题目的学生准确率为 79.88%，而把完整解答作为指令式提示的教师准确率达 99.12%，但平均长度只有 1314.3 个 token，探索密度为每千 token 6.57 次，广度 57.58%。
把参考推理的末尾一段改写成“未完成的工作笔记”，并要求教师从头重解原题，可以在保持较高准确率的同时减少对参考文本的照搬。 同一段 50% 参考推理若以权威参考解答的口吻给出，显式提及参考的比例为 73.05%，强归因为 45.80%；改为工作笔记后，显式提及降到 11.91%，强归因降到 6.54%。 工作笔记在 25% 与 50% 注入比例下准确率分别为 87.30% 与 88.28%，高于只给题目的 79.88%；注入比例继续升到 75% 与 100% 时准确率为 86.72% 与 87.70%，探索密度从 11.64 降到 7.86。
训练时同时从共享策略采样教师轨迹与学生轨迹，并在两种提示条件下交叉打分，形成两个方向相反的偏好目标。 学生侧目标在只给题目的条件下偏好教师轨迹，教师侧目标在带特权信息的条件下偏好学生轨迹，后者不声称学生答案更准确，而是把学生的探索与回溯反馈给生成未来教师目标的角色。 两个方向的间隔在训练中保持为正，教师侧间隔增长明显更多，主要因为教师轨迹在特权提示下的得分下降；教师侧权重取 0.5 与 1.0 时，留出数学集最终 macro mean@12 为 53.99% 与 54.02%，取 0.1 与 0.25 时为 45.44% 与 47.45%。
在三个 Qwen3 规模上，数学与逻辑推理的平均成绩都高于基座、GRPO、OPSD、SPIN 与 PBSD。 相对基座，Qwen3-1.7B、4B、8B 的数学平均分分别提高 4.3、2.2、2.5 分，骑士与无赖平均分分别提高 6.1、3.9、7.5 分；Qwen3-1.7B 在 11 角色设置上为 33.0，比基座的 34.0 低 1.0 分。 数学用 AMC23、AIME24、AIME25 的 mean@12，逻辑用骑士与无赖的 pass@1，训练数据为 DeepMath 的困难子集与 4–8 角色逻辑题，留出测试包含 9–11 角色。
启示与展望
演示范围是 Qwen3-1.7B、4B、8B 在 DeepMath 困难子集上训练，并在 AMC23、AIME24、AIME25 与骑士与无赖 4–11 角色上评测；跨架构结果只在 DeepSeek-R1-Distill-Qwen-7B 与 DeepSeek-R1-Distill-Llama-8B 的数学基准上给出。读者对象是从事推理后训练与自蒸馏的研究人员和工程师。
探索与参考依赖指标是表层文本代理，wait、check、consider 这类多义词可能高估目标行为，改写后的特权信息使用也可能躲过精确短语与 n-gram 匹配。教师侧偏好可能强化学生的错误或无益冗长，因此正确性、探索、参考依赖、响应长度与下游表现需要一起评估。理论分析只覆盖固定回放批次上的普通梯度步，不覆盖实践中使用的完整 AdamW 更新，也不保证跨回放刷新后的改进。