工具检索不再只看语义:执行反馈把故障选择率从86.2%压到2.9%
核心概要
智能体调用外部工具时,检索环节此前只按语义相关性排序,无法反映工具在运行中是否可用。RATED把冻结的双编码器语义匹配与一个轻量上下文赌博机结合,用每次执行的成功或失败反馈在线重排候选工具。在30%故障注入下,故障选择率从ToolLLM API检索器的86.2%降到2.9%,每步仅增加0.172毫秒延迟。
深度剖析
智能体选工具时,检索结果开始把工具当下能不能用算进去,而不只是问它和查询语义像不像。 此前的工具检索把任务当作静态排序,按语义相关性把查询映射到工具文档,运行时的可用性基本不在排序依据里。 在30%故障注入下,故障选择率从ToolLLM API检索器的86.2%降到2.9%,同时故障后成功率保持在82%以上。
做法是把语义匹配和可靠性估计拆成两级,前者离线固定,后者在线更新。 语义一级用DRAGON双编码器在合成查询上做对比微调后冻结,可靠性一级用折扣LinUCB上下文赌博机,按查询上下文为每个工具维护一个线性模型。 评测在EcoAgent上进行,该基准汇集四个开源智能体平台的5,172个真实工具和超过21万条查询–工具对,动态实验在EcoAgent-Real测试划分上完成。
启示与展望
报告的范围是离线检索评测与注入式故障下的顺序选择实验,工具库来自LangChain、CrewAI、LlamaIndex和n8n四个开源平台。适合关注智能体工具调用与检索系统的研究人员和工程师阅读。原文把新加入工具的冷启动路径评测和真实智能体运行时验证列为后续工作。
离线检索中RATED在EcoAgent-Real上的MRR仍低于Ada-002和SPLADE-v3,说明真实查询上的排序精度并不占优。动态结果来自模拟的持续故障注入,故障集合在运行前固定,并非真实API中断。新工具冷启动路径的评测和真实运行时验证尚未完成。
