# 域归一化多教师在线策略蒸馏

该工作发现多教师在线策略蒸馏（MOPD）仅靠域标签路由无法让学生超过最强单教师学生、且几乎不迁移数学专家的增益，原因是各域反馈尺度失衡（首个训练批次中指令跟随的对数比离散度是池化信号的 2.3–4.4 倍、数学约为一半，初始 4B 学生中指令跟随损失贡献了 94% 的合并梯度），于是提出 DN-MOPD：保留标签路由，用每批次池化与各域对数比标准差的裁剪比值对每个域的蒸馏优势做缩放，在 Qwen3.5-9B/4B/2B 上于 8K 与 16K 两个评测预算、三个学生随机种子下均提升六任务均分（16K 提升 1.17–2.36 个百分点，8K 提升 2.47–3.08），并找回大部分丢失的数学增益。

该工作发现多教师在线策略蒸馏（MOPD）仅靠域标签路由无法让学生超过最强单教师学生、且几乎不迁移数学专家的增益，原因是各域反馈尺度失衡（首个训练批次中指令跟随的对数比离散度是池化信号的 2.3–4.4 倍、数学约为一半，初始 4B 学生中指令跟随损失贡献了 94% 的合并梯度），于是提出 DN-MOPD：保留标签路由，用每批次池化与各域对数比标准差的裁剪比值对每个域的蒸馏优势做缩放，在 Qwen3.5-9B/4B/2B 上于 8K 与 16K 两个评测预算、三个学生随机种子下均提升六任务均分（16K 提升 1.17–2.36 个百分点，8K 提升 2.47–3.08），并找回大部分丢失的数学增益。