智能体查跨文档问题不再每次重找:编译维基把准确率从0.10提到0.52,证据图再添27%
核心概要
面向跨文档推理的智能体记忆层有了同条件对照:在111份合成保险文档上,使用OpenWiki编译维基的智能体在50个需要跨来源连接的问题上准确率为0.52,仅用关键词检索时为0.10;再叠加由引用和文档引用关系生成的证据图后,准确率再提高27%,引用一致性翻倍,每个正确答案成本下降58%。简单查找问题上两者准确率相当,维基并未带来优势。
深度剖析
智能体处理跨文档问题时,可以把编译好的维基当作可复用的记忆层,而不必在每次提问时从原始文档重新拼出概念之间的关系。 此前的检索流程用语义或混合搜索取回孤立片段,片段之间如何关联、哪条规则取代哪条,都要由智能体自己重建。 在111份合成保险文档、50个需要跨文档追踪依赖的问题上,接入OpenWiki编译维基的智能体准确率为0.52,仅用关键词搜索时为0.10,约5倍;每个正确答案成本从约0.55美元降到0.19美元。
在维基之上再加一层证据图,让智能体沿显式边从结论走到支撑段落,引用证据变得更稳定。 只用维基时,跨文档问题的引用重叠度从简单查找的0.74降到0.25,同一问题三次运行的证据来源不一致。 与只用维基相比,加入证据图后准确率提高27%,引用一致性翻倍,答案时间中位数下降40%,每个正确答案成本下降58%。
证据图由维基已有的文本引用和文档引用确定性地物化而成,构建过程不需要额外的模型调用。 抽取式知识图谱管线通常要用模型抽取实体并做对齐,这里改为复用已有的引用关系。 证据图构建耗时不到一秒,解析了测试文档库中全部显式交叉引用;段落被赋予唯一标识,成为连接结论与具体支撑段落的原子单元。
编译记忆的收益取决于复用程度,简单查找并不受益。 在80个单段落查找问题上,搜索与维基的准确率分别为0.84和0.83,引用重叠为0.72和0.74,每个正确答案成本为0.020和0.021美元。 同一对照中,维基把延迟从9秒提高到12秒;111份文档编译成约为原体积十分之一的维基花费4.15美元,后续新增文档每份约0.09美元,报告的成本不含编译与更新。
启示与展望
评测范围是111份合成保险文档构成的文档库,含80个简单查找问题和50个跨文档连接问题,每个问题运行三次;对照只改变智能体能否访问编译记忆,模型、指令、文档和问题保持不变。报告的成本不含维基编译与更新开销。
维基的引用由模型生成,由维基派生的边因此依赖这些引用的准确性;加入证据图提高了准确率与一致性,但并未使智能体完全确定。简单查找上搜索与维基准确率相当而维基更慢,编译与维护成本在大量复用前可能超过检索节省。
