多轮强化学习让智能体在长预算下越过基座模型，预算收紧后优势却会消失甚至反转
多轮智能体强化学习常被用来提升大语言模型智能体的长程能力，但轨迹级成功率掩盖了它对单步决策的实际影响。研究在DeepCoder-MT、BFCL、InterCode-SQL与FrozenLake四个交互任务上，用采样广度与交互深度两个维度评估GRPO训练后的模型：采样轨迹越多，强化学习模型越稳定地超过基座模型；但把每条轨迹的交互轮数压紧，这一优势会缩小、消失，在部分任务上甚至反转。逐状态比较显示，强化学习模型只在46.8%的DeepCoder-MT状态和42.8%的FrozenLake状态上给出更优的下一步动作，其增益主要来自错误恢复与轨迹后段。