跳到主要内容
返回时间线
arXiv来源发表:

执行代理不再自己判断何时求助:ARIA学会在轨迹中挑点咨询,SWE-bench上以不到一半成本补回68%差距

核心概要

ARIA把“何时向更强模型求助”变成一个可学习的顺序决策:在SWE-bench Verified、Terminal-Bench 2.1和电信客服基准上,它以不到Advisor-only一半的成本补回执行器与顾问之间44%到81%的成功率差距。

Source-provided article image: Ask Your Advisor: Learning When to Consult Stronger Models in Agentic Systems
Figure 1 · arXiv

深度剖析

执行代理在长流程中不再自己判断何时向更强模型求助,而是由一个独立学习到的二值策略决定在哪些工作流节点引入顾问。 此前的路由、级联与自适应计算多在任务开始前或任务级别分配能力,固定与提示式咨询则把时机交给执行器自身,而语言模型难以定位自己的推理失败、置信度校准也差。 在SWE-bench Verified、Terminal-Bench 2.1和电信客服基准上,ARIA分别补回68.2%、44.4%和80.6%的执行器—顾问成功率差距,同时只花掉Advisor-only评估成本的48.1%、40.9%和34.5%。

控制器只看工作流本身已经暴露的信号,把轨迹压缩成24个状态,在每个接触点选择静默或咨询。 状态由时间位置、执行证据和是否已经咨询过三个维度组成,不使用模型内部置信度,也不微调任何一个语言模型。 动作价值用每次访问的表格式蒙特卡洛控制、以样本平均更新从带成本惩罚的终局回报中学得,训练用ε-贪心探索,部署时冻结为贪心策略,未访问状态与平局一律回到静默。

咨询价格是唯一控制成功与成本取舍的参数,改变它不需要重新训练任何一个模型。 默认策略在SWE-bench上取得最高的超额恢复0.37,而把价格调高后策略会减少咨询次数。 价格从默认值提高后,SWE-bench上的咨询从每回合2.78次降到2.03次和1.55次,评估成本从22.09美元降到18.78美元和16.63美元,成功率从48.0%降到34.0%和29.3%,超额恢复也从0.37降到0.15和0.11。

启示与展望

这套策略面向执行器—顾问配对的长流程代理系统,在SWE-bench Verified、Terminal-Bench 2.1和电信客服基准上以固定的一对模型和Magentic-One工作流完成评估,训练任务与留出评估任务不重叠。控制器只假设工作流中存在重复出现的决策点,因此其他单代理或多代理系统可以用自己的重复事件实例化同一抽象。作者指出,ARIA为研究其他模型对、代理配置与编排框架提供了试验台。

作者报告,收益在同类决策点跨任务重复时最大,在Terminal-Bench这类异构任务上较小,说明咨询策略更适合在相关工作流内学习。实验只覆盖一对模型与Magentic-One框架。失败分析显示,被忽略的代理输入成为ARIA在SWE-bench上的主要残余失败模式,占其失败的58%,说明咨询位置与建议采纳是两个不同问题。