检索和阅读不再交给同一个模型:分工后F1提高11分,多跳问答也超过已发表的RAG与GraphRAG
导语
多模态文档问答把“找段落”和“读段落”拆给不同角色的智能体,在2441个问题、3368份PDF的开放域基准上F1达到47.5,比已发表的M3DocRAG高11.0。
正文
开放域多模态文档问答不再由同一个模型同时掌握检索和阅读工具并自行安排顺序,而是按职责拆成若干角色:只负责搜索的定位智能体、由代码调度的桥接判定、合并各次搜索排名的证据池、只负责读文本图像表格的深读智能体,以及带格式检查的合成器。 此前的检索增强智能体把两类工具交给同一个模型,由它自己决定何时搜索、何时阅读。 在完整的M3DocVQA开放域基准上,自托管的Qwen3.6-35B-A3B(激活3B)取得F1 47.5,比已发表的M3DocRAG高11.0,比在同一索引和同一模型上一次性检索并回答高7.1;换用DeepSeek-V4-Flash时为53.5。
分工带来的收益可以按角色拆开看:深读智能体在三个语料上分别贡献3.8、9.8和0分,数值高低与语料的视觉化程度一致。 把两个智能体合并成一个、给它全部工具并把轮数翻倍,反而损失1.9 F1,因为它会一直搜索而不去阅读。 在完整基准上做的逐角色消融给出上述分数;轮数预算扫描显示四个定位轮次处出现台阶,之后进入平台期;查询延迟随模型调用次数增长,而不随语料规模增长。
接下来
这套流程面向大规模异构文档集合的开放域问答,覆盖多模态文档、多跳问答和单文档长文档三类基准,并已把三个建好索引的基准作为只读知识库提供、免费注册使用。提示词与运行代码一并发布,读者可以据此在同类文档集合上复现这条流水线。
逐角色消融显示深读智能体在三个语料上的贡献分别为3.8、9.8和0分,说明收益与语料的视觉化程度相关;轮数预算扫描在四个定位轮次处出现台阶、之后进入平台期;查询延迟随模型调用次数增长而非语料规模。这些是当前设置下的观察,尚未说明在其他语料或模型上是否同样成立。
