多轮智能体蒸馏不再把学生推理喂给老师：ALFWorld 上 4B 学生以 43.39% 反超 32B 教师
核心概要
多轮智能体蒸馏把教师监督改挂在交互状态上，只保留已执行动作与环境观测，Qwen3-4B 学生在 ALFWorld Seen 上以 43.39% 反超其 32B 教师。
深度剖析
多轮智能体蒸馏的教师监督不再继承学生此前的推理，只挂在交互状态上，也就是任务指令加上已执行动作与返回观测的记录。 此前的在线策略蒸馏把学生完整历史交给教师打分，其中包含学生自己的推理轨迹。 在 ALFWorld 上重放已执行动作前缀恢复环境后做配对续写，去掉继承推理的教师续写成功率在每个锚点区间都更高；Qwen3-4B 上配对增益从早期锚点的 0.8 个百分点升到晚期锚点的 20.3 个百分点。
学生侧改为在同一交互状态上重采样完整的推理加动作响应，而不是固定一条推理只重采动作。 固定推理时，同一状态上进入监督的动作几乎只有一条。 在 ALFWorld 的 64 条 Qwen3-4B 轨迹上，每个状态构造 16 条响应的配对集合，固定推理的探针有 88.5% 只给出一个解析动作，完整响应重采样为 44.3%。
State-OPD 把教师目标挂在交互状态上，并把采样预算集中到响应熵高的状态，学生仍按完整历史生成。 参考配置把每个任务的四次 rollout 均匀铺在所有轮次上。 在 ALFWorld、ScienceWorld、WebShop 三个基准、两个学生规模上，Qwen3-4B 的宏平均成功率从最强基线 Vanilla OPD 的 26.07% 升到 31.74%，Qwen3-1.7B 组内领先的 20.76% 也来自同一配置。
启示与展望
报告覆盖 ALFWorld、ScienceWorld、WebShop 三个文本交互环境，学生为 Qwen3-1.7B 与 Qwen3-4B，教师为冻结的 Qwen3-32B，训练与评测共用同一套提示与历史保留设置。适合做多轮智能体后训练、关心教师监督放在哪一段上下文的研究者与工程师阅读。原文未提出下一步实验计划。
每个配置只有一次训练运行，种子为 42，报告的成功率不估计训练种子间的波动。任务配对区间只刻画固定检查点下的评测不确定性，是逐点 95% 区间且未做多重比较校正。消融与行为分析集中在 ALFWorld，其他两个环境只报告主表结果。