# 错误恢复

多轮智能体强化学习常被用来提升大语言模型智能体的长程能力，但轨迹级成功率掩盖了它对单步决策的实际影响。研究在DeepCoder-MT、BFCL、InterCode-SQL与FrozenLake四个交互任务上，用采样广度与交互深度两个维度评估GRPO训练后的模型：采样轨迹越多，强化学习模型越稳定地超过基座模型；但把每条轨迹的交互轮数压紧，这一优势会缩小、消失，在部分任务上甚至反转。逐状态比较显示，强化学习模型只在46.8%的DeepCoder-MT状态和42.8%的FrozenLake状态上给出更优的下一步动作，其增益主要来自错误恢复与轨迹后段。

多轮智能体强化学习常被用来提升大语言模型智能体的长程能力，但轨迹级成功率掩盖了它对单步决策的实际影响。研究在DeepCoder-MT、BFCL、InterCode-SQL与FrozenLake四个交互任务上，用采样广度与交互深度两个维度评估GRPO训练后的模型：采样轨迹越多，强化学习模型越稳定地超过基座模型；但把每条轨迹的交互轮数压紧，这一优势会缩小、消失，在部分任务上甚至反转。逐状态比较显示，强化学习模型只在46.8%的DeepCoder-MT状态和42.8%的FrozenLake状态上给出更优的下一步动作，其增益主要来自错误恢复与轨迹后段。

工具调用失败后，智能体能否重试、改参数或停下报告，不只取决于报错文字，也取决于这段反馈以什么形式进入对话。研究在13个3B到70B的开源模型上固定报错内容、只改变投递方式，发现把失败调用保留在历史里、再用一条新的用户消息附上运行时说明和指引，能避免Llama模型在不可恢复错误上停不下来的问题；把这一形式做成推理引擎中的可选恢复层后，ToolMaze显式错误成功率在7–8B模型上提高14.2个百分点、在32–70B模型上提高10.5个百分点，而Loud/Quiet上没有可测增益。

工具调用失败后，智能体能否重试、改参数或停下报告，不只取决于报错文字，也取决于这段反馈以什么形式进入对话。研究在13个3B到70B的开源模型上固定报错内容、只改变投递方式，发现把失败调用保留在历史里、再用一条新的用户消息附上运行时说明和指引，能避免Llama模型在不可恢复错误上停不下来的问题；把这一形式做成推理引擎中的可选恢复层后，ToolMaze显式错误成功率在7–8B模型上提高14.2个百分点、在32–70B模型上提高10.5个百分点，而Loud/Quiet上没有可测增益。