跳到主要内容
返回时间线
arXiv来源发表:

工具检索不再只比语义:执行反馈把故障选择率从86.2%压到2.9%

导语

智能体选工具时不再只比语义相似度,而是把每次执行成败当作反馈实时重排候选,在30%故障注入下把选中失效工具的比例从86.2%降到2.9%,每步只多约0.172毫秒。

Source-provided article image: RATED: Reliability-Aware AI Agent Tool Retrieval via Execution Dynamics
Figure 1 · arXiv

正文

工具检索从静态排序变成随执行结果在线调整的决策:系统在语义候选之上再按工具当前是否可用重排,从而避开运行中失效的工具。 此前的检索器按语义相关性把查询映射到工具文档,把检索当作静态排序任务,基本不考虑工具在执行时是否可用。 在30%故障注入下,RATED把故障选择率降到2.9%,而ToolLLM API检索器为86.2%;在20%故障注入下为2.5%,对照的预训练DRAGON为18.1%。

语义匹配与可靠性估计被拆成两段:冻结的编码器负责找相关工具,一个轻量的在线模块只负责在候选里挑出还能用的那个。 此前把执行反馈纳入的方法仍以优化规划器为目标,用批量轨迹更新模型,无法在两次请求之间即时调整候选顺序。 语义编码器在EcoAgent-Syn上做对比微调后冻结,重排用带折扣的LinUCB为每个工具维护独立线性模型,按近期反馈下调旧奖励权重。

这套流程的额外开销很小,可以放进交互式智能体循环。 批量GRPO式更新需要周期性同步策略,平均延迟17.839毫秒。 在单张RTX 5070上,仅编码平均3.223毫秒,完整RATED平均3.395毫秒、P95为4.391毫秒,比仅编码多0.172毫秒。

接下来

这套结果覆盖的是EcoAgent基准上的离线检索与注入式故障评估:5,172个来自LangChain、CrewAI、LlamaIndex和n8n的真实工具,以及EcoAgent-Real测试划分上的6,379条查询、9,946个已验证查询–工具对。动态指标来自模拟的持续性故障,故障集合在运行前固定,工具从故障开始到结束保持不可用。适合关注智能体工具调用可靠性的研究人员与工程师阅读。

离线检索与动态可靠性并不一致:在EcoAgent-Real上RATED的MRR比ToolLLM API检索器高52.2%,但仍低于Ada-002和SPLADE-v3,说明真实查询上的高排序精度并不保证工具失效时的稳健选择。带折扣的LinUCB在30%故障率下适应步数为0,在20%故障率下为1,603步,而健康检查黑名单在30%下未能恢复。新工具的冷启动路径评估与在真实智能体运行时中的验证仍是后续工作。

来源