多轮智能体强化学习常被用来提升大语言模型智能体的长程能力，但轨迹级成功率掩盖了它对单步决策的实际影响。研究在DeepCoder-MT、BFCL、InterCode-SQL与FrozenLake四个交互任务上，用采样广度与交互深度两个维度评估GRPO训练后的模型：采样轨迹越多，强化学习模型越稳定地超过基座模型；但把每条轨迹的交互轮数压紧，这一优势会缩小、消失，在部分任务上甚至反转。逐状态比较显示，强化学习模型只在46.8%的DeepCoder-MT状态和42.8%的FrozenLake状态上给出更优的下一步动作，其增益主要来自错误恢复与轨迹后段。
临床多轮智能体要在信息不全时决定问什么、何时停、做什么。研究在药物续方分诊、急性诊断检查、抗凝滴定三个可控模拟环境中比较奖励设计：只按最终结果给分的GRPO常靠少问问题抬高平均收益，却出现过早决策和高危病例退化；在诊断任务中，对降低隐藏状态不确定性的提问额外记分，三个训练种子下留出价值与中等病例支持均提高，且未出现只按结果训练时的高危种子崩塌。
多轮智能体蒸馏把教师监督改挂在交互状态上，只保留已执行动作与环境观测，Qwen3-4B 学生在 ALFWorld Seen 上以 43.39% 反超其 32B 教师。
该工作分析 ALFWorld 上 Qwen3 系列（8B–235B）的失败轨迹，发现过半失败含有一个早期且通常可恢复的“关键失误”，据此提出 PivotOPD：用教师模型定位关键轮并给出金动作与后续恢复动作，以反向 KL 做预防蒸馏、以正向 KL 做恢复蒸馏，与组相对 RL 合并进一次 PPO 更新，在 ALFWorld、WebShop、Search-based QA 上对 Qwen3-1.7B 与 Qwen3-8B 均取得最高平均表现，并把增益迁移到 Nemotron-3.5 在 SWE-Bench Verified 上的解决率（+3.2%）。
该工作提出 ActFirst-OPD，把环境交互与完整响应生成解耦：学生模型借助参考下一观测做参考条件逆动力学推断并执行动作，一旦转移偏离参考轨迹就切换为自主下一动作预测，同时从收集到的交互上下文异步生成完整“先思考后行动”响应供教师做 token 级监督；在 0.6B、1.7B、4B 的 Qwen3 学生上，相对 Vanilla OPD 在 ALFWorld、WebShop、ScienceWorld 取得平均 2.3 倍、1.8 倍、4.9 倍的墙钟训练加速，并在九个基准–模型设置中的八个里平均任务成功率持平或更高。
已读完全部报道