文档问答拆成找与读两种智能体:同一模型在M3DocVQA上F1提高11.0
核心概要
开放域多模态文档问答要先找到相关段落再读懂它们,而现有检索增强智能体让一个模型同时掌握两类工具并自行调度。KnowForge把流程按职责拆开:只负责搜索的定位智能体、由代码调度强制补上第二跳的桥接判定、合并各次搜索排名的有界证据池,以及只负责读文本、图像和表格的深读智能体。在自托管Qwen3.6-35B-A3B上,完整M3DocVQA(2441题、3368份PDF)F1达47.5,比已发表的M3DocRAG高11.0,比同一索引与模型上的一次检索即答高7.1。
深度剖析
文档问答被拆成定位与阅读两类专职智能体,各自只能使用一类工具,不再由一个模型同时搜索和阅读并自行安排轮次。 此前的检索增强智能体把两类工具交给同一个模型,由它自己调度。 在完整M3DocVQA(2441个问题、3368份PDF)上,自托管Qwen3.6-35B-A3B(3B激活)取得F1 47.5,比已发表的M3DocRAG系统高11.0,比同一索引、同一模型上的一次检索即答高7.1。
流程由混合检索的知识点索引、只能搜索的定位智能体、代码调度的桥接判定、合并每次搜索排名的有界证据池、只能读文本图像表格的深读智能体,以及带格式检查的合成器组成。 桥接判定由代码调度,用来强制补上缺失的第二跳检索,而不是留给模型自行决定。 在MultiHop-RAG上准确率为73.5,高于已发表的最强RAG与GraphRAG结果71.2;在单文档的MMLongBench-Doc上把同一模型从34.8提升到47.0,与GPT-4o读页面图像的46.3相当。
按职责拆分的收益可以逐项归因,深读智能体的价值随语料的视觉比重变化。 把两个智能体合并成一个、给它全部工具并把轮次加倍,反而损失1.9 F1,因为它持续搜索而不去阅读。 在三个完整基准上,深读智能体分别贡献3.8、9.8和0分;轮次预算扫描显示四个定位轮次处出现台阶,之后趋于平台;查询延迟随模型调用次数增长,而不随语料规模增长。
启示与展望
报道依据的是摘要层面的材料,未覆盖完整论文。已展示的范围是三个基准:完整M3DocVQA、MultiHop-RAG和单文档的MMLongBench-Doc,模型为自托管Qwen3.6-35B-A3B,另有DeepSeek-V4-Flash上53.5的结果。三个索引基准以只读知识库形式提供,需免费注册,提示词与运行代码一并公开。
深读智能体在三个语料上的贡献分别为3.8、9.8和0分,说明其收益与语料的视觉比重相关。轮次预算扫描显示四个定位轮次后进入平台,继续增加轮次不再带来提升。查询延迟随模型调用次数增长而非语料规模,这一关系来自摘要层面的报告。
