Xin Li

该工作提出一套可审计的同质三智能体LLM辩论协议，把最终准确率拆解为保持、崩塌、纠正与未修复四类转移并记录崩塌起始轮次与带符号干预效用，在6,925场MMLU-Pro辩论中识别出253次崩塌，并通过回放实验显示留一模型探针门控冻结在等权重下阻止29次崩塌却损失108次纠正，说明仅以阻止崩塌为目标的策略可能选错。

该工作提出一套可审计的同质三智能体LLM辩论协议，把最终准确率拆解为保持、崩塌、纠正与未修复四类转移并记录崩塌起始轮次与带符号干预效用，在6,925场MMLU-Pro辩论中识别出253次崩塌，并通过回放实验显示留一模型探针门控冻结在等权重下阻止29次崩塌却损失108次纠正，说明仅以阻止崩塌为目标的策略可能选错。

该工作发现多教师在线策略蒸馏（MOPD）仅靠域标签路由无法让学生超过最强单教师学生、且几乎不迁移数学专家的增益，原因是各域反馈尺度失衡（首个训练批次中指令跟随的对数比离散度是池化信号的 2.3–4.4 倍、数学约为一半，初始 4B 学生中指令跟随损失贡献了 94% 的合并梯度），于是提出 DN-MOPD：保留标签路由，用每批次池化与各域对数比标准差的裁剪比值对每个域的蒸馏优势做缩放，在 Qwen3.5-9B/4B/2B 上于 8K 与 16K 两个评测预算、三个学生随机种子下均提升六任务均分（16K 提升 1.17–2.36 个百分点，8K 提升 2.47–3.08），并找回大部分丢失的数学增益。

该工作发现多教师在线策略蒸馏（MOPD）仅靠域标签路由无法让学生超过最强单教师学生、且几乎不迁移数学专家的增益，原因是各域反馈尺度失衡（首个训练批次中指令跟随的对数比离散度是池化信号的 2.3–4.4 倍、数学约为一半，初始 4B 学生中指令跟随损失贡献了 94% 的合并梯度），于是提出 DN-MOPD：保留标签路由，用每批次池化与各域对数比标准差的裁剪比值对每个域的蒸馏优势做缩放，在 Qwen3.5-9B/4B/2B 上于 8K 与 16K 两个评测预算、三个学生随机种子下均提升六任务均分（16K 提升 1.17–2.36 个百分点，8K 提升 2.47–3.08），并找回大部分丢失的数学增益。