跳到主要内容
返回时间线
arXiv来源发表:

多模态文档问答不再一律调用智能体:RouteDRAG只派79.3%的查询走智能体,平均准确率反升3.47个百分点

核心概要

多模态长文档问答里,智能体式检索并非每次都划算,额外计算还可能让答案变差。RouteDRAG把是否调用智能体、以及调用后如何执行都变成可学习的选择:它用图索引组织跨页、表格与图像内容,预测智能体相对短路径的收益,并控制工具调用与终止。在两个基准上,它只把79.3%的查询交给智能体,平均准确率比只用短路径高3.47个百分点,同时超过统一走智能体的执行方式且回答调用更少。

Source-provided article image: RouteDRAG: Learning to Route and Control Agentic Execution for Multimodal Document RAG
arXiv

深度剖析

多模态文档问答开始按查询决定要不要动用智能体,而不是让每个问题都走一遍检索加推理的循环。 此前的智能体式检索增强生成对每个查询都执行迭代检索与推理,而这类执行并非总是必要,会带来额外计算,也可能给出错误答案。 对查询的实证分析显示,智能体执行带来的收益随查询而变,追加的操作可能提升、保持或降低答案准确率。

系统先判断智能体相对更短执行路径是否值得,再在智能体内部约束工具使用与停止时机。 RouteDRAG由统一文档索引、自适应路径路由、动态智能体执行和序贯策略学习四部分组成,其中路径路由预测智能体相对短路径的相对收益,动态执行维护演化中的工作区并修正规划器提案。 序贯策略学习先从观测到的结果训练操作控制,再用所得智能体的表现训练路径路由;评测覆盖两个基准。

省下智能体调用并没有牺牲准确率,反而在两个基准上同时优于两种对照。 对照之一是只走短路径的执行,对照之二是统一走智能体的执行。 RouteDRAG在两个基准上平均准确率比只用短路径高3.47个百分点,仅把79.3%的查询分配给智能体,并在两个基准上都超过统一智能体执行,且所需回答调用更少。

启示与展望

已展示的范围是两个多模态文档问答基准上的平均准确率、智能体查询分配比例与回答调用次数对比;代码已公开。

摘要只报告两个基准上的平均提升,未给出各基准的单独数值;智能体收益随查询而变的实证分析也只在摘要层面概述。