长文档问答不再每次重搜:先让智能体建好文件系统,准确率从0.42升到0.75
核心概要
长文档问答的检索通常要等查询到来才启动,同一批文档被反复重读。Librarian Agents 改为在查询之前训练一个构建智能体,把原始文档整理成带引用链接的多层合成文件系统,供冻结的答题智能体直接导航。在 BrowseComp-Plus 上,配 Qwen3.5-4B 答题端时准确率为 0.75,嵌入检索与重排基线分别为 0.42 和 0.44;未训练的构建智能体只有 0.28。
深度剖析
长文档问答的准备工作被挪到查询之前:一个构建智能体先把原始文档整理成多层文件系统,答题智能体随后在这套工作区里找证据,而不是每次查询都从原始语料重新检索。 此前的检索增强生成在查询到来后才搜索原始文档,知识图谱一类预计算则依赖抽取命名实体等固定规则,结构在查询与索引不吻合时用处有限。 在 BrowseComp-Plus 上,配冻结的 Qwen3.5-4B 答题端时准确率为 0.75,嵌入检索与重排基线分别为 0.42 和 0.44;配 Gemini 3.1 Flash Lite 时为 0.77,两个基线分别为 0.30 和 0.42。
构建智能体的整理动作本身是被训练出来的,它学会创建、合并和删除合成文件,使下游答题更容易。 同一框架下不做强化学习微调的构建智能体只得到 0.28 的准确率,说明基础模型并未自带这种为他人组织记忆的能力。 构建过程被写成有限时域的马尔可夫决策过程,用 GRPO 优化,奖励来自每隔八轮探测的答案可得性变化与最终答案正确性;训练时构建智能体看不到评估问题。
一次构建的文件系统可以服务同一文档集上的多个查询,构建开销因此被摊薄。 逐查询检索把跨文档推理的成本重复支付,而构建成本只在整理阶段发生一次。 在 50 个文档集、443 条合成查询上,同一批文件系统的准确率为 0.64,基础构建智能体为 0.24;按每个文档集复用 20 条查询估算,构建成本摊到每条约 18K token,按十个问题归一后每个期望正确答案的记录 token 比基础构建少 33.8%。
在训练分布之外,构建智能体仍能整理出可用的工作区。 训练只发生在 BrowseComp-Plus 的 680 个任务上,BRIGHT 的领域未参与训练。 在 BRIGHT 的 AOPS、生物学与 Stack Overflow 三个域共 150 个问题上零样本评测,平均 pass@1 为 0.52、pass@3 为 0.67,高于所列检索基线;训练后的构建智能体平均产出 53.4 个活跃合成文件、45.4 个簇和 8.0 个合并产物,基础构建智能体为 4.8、4.2 和 0.6。
启示与展望
评测限于静态语料上的问答:BrowseComp-Plus 用 680 个任务训练、50 个留出任务评测,BRIGHT 用三个域各 50 个问题做零样本迁移。构建智能体在整理时只看到文档,看不到评估问题,评估问题也不用于挑选检查点。构建智能体一次要处理较大的文件上下文,原文提出可借助聚类或检索把它扩展到更大领域。
原文把评测限定在静态语料问答,文档变化时如何维护这种预整理记忆仍是开放问题。任何有限的合成文件都无法覆盖所有查询,压缩可能丢掉针尖式查询所需的细节;工作区保留指向原始文档的引用链接以便回退,但何时绕过合成层仍未解决。构建智能体处理大文件上下文可能限制可扩展性。
