多轮强化学习让智能体在长预算下越过基座模型，预算收紧后优势却会消失甚至反转
核心概要
多轮智能体强化学习常被用来提升大语言模型智能体的长程能力，但轨迹级成功率掩盖了它对单步决策的实际影响。研究在DeepCoder-MT、BFCL、InterCode-SQL与FrozenLake四个交互任务上，用采样广度与交互深度两个维度评估GRPO训练后的模型：采样轨迹越多，强化学习模型越稳定地超过基座模型；但把每条轨迹的交互轮数压紧，这一优势会缩小、消失，在部分任务上甚至反转。逐状态比较显示，强化学习模型只在46.8%的DeepCoder-MT状态和42.8%的FrozenLake状态上给出更优的下一步动作，其增益主要来自错误恢复与轨迹后段。
深度剖析
多轮智能体强化学习带来的提升取决于每条轨迹可用的交互轮数，而不只是最终任务是否完成。 此前的智能体评估通常只看轨迹级成功率，即任务是否在给定预算内完成，因此无法区分模型是在更少轮次内做对，还是靠更多轮次补救。 在固定采样广度、把最大交互轮数从紧到松扫描时，强化学习模型相对基座模型的优势随预算增大而变明显；预算很紧时优势缩小，并在部分任务上反转，而此时各任务的结构性能上界之下仍留有明显余量。
多轮强化学习并没有让每一步动作都变好，它主要加强的是出错之后的恢复和轨迹后段的执行。 如果增益来自普遍更强的单步决策，那么在相同状态下强化学习模型应当稳定给出更高质量的动作，但逐状态配对比较并不支持这一点。 在相同状态上分别采样两个策略的动作并取平均质量，强化学习模型仅在46.8%的DeepCoder-MT状态和42.8%的FrozenLake状态上更优；在人为注入错误动作后的错误状态上，这一比例反转为65.7%（FrozenLake）和67.3%（DeepCoder-MT）。
强化学习策略的单个动作仍落在基座策略的概率支撑内，但完整轨迹在强化学习策略下的似然明显更高。 单步动作质量没有普遍提升，却出现轨迹级成功率上升，这需要解释局部动作与整条轨迹之间的落差。 在Terminal-Bench上，强化学习动作在基座策略下的平均负对数似然与基座动作接近，而成功强化学习轨迹的累积对数似然比随交互推进升至约一个明显高于基座成功轨迹的水平。
在训练中让交互预算变化，可以在保留长程收益的同时缓解单步决策质量的下降。 标准多轮强化学习在固定最大预算下采样轨迹，不区分需要不同交互量才能完成的解，训练中轨迹奖励上升而单步奖励不升甚至下降。 BudgetMix在GRPO、GiGPO、PPO三种算法上与全预算训练对比，在25%、50%、75%预算下平均分别高出全预算强化学习7.5、5.3和4.0个百分点，在100%预算下与全预算训练持平。
启示与展望
分析覆盖DeepCoder-MT、BFCL、InterCode-SQL、FrozenLake与Terminal-Bench等交互任务，主实验以Qwen3-4B和Qwen3-8B为基座、以GRPO为主要算法，并在附录中补充GiGPO、PPO、InternVL3.5-8B与DeepSeek-R1-Distill-Llama-8B的结果；单步动作质量只在FrozenLake与DeepCoder-MT这两个能可靠评估单步的任务上测量。
错误状态由注入错误动作构造，作者说明这只是错误状态的代理而非严格定义；精确的过程监督只在FrozenLake这类可计算Q值的环境可得，在BFCL等更现实任务上稠密信号方法未能缓解紧预算下的性能下降；BudgetMix被定位为初步讨论中的候选方案。