跳到主要内容
返回时间线
sarvam.ai来源发表:

企业智能体不再逐题翻文档:知识树加本体,Harvey LAB 评分从55.1%升到84.2%

核心概要

Sarvam 为企业智能体构建“知识织物”:先把文档一次性编译成可导航的知识树和可查询的领域本体,让智能体按目录定位、按实体过滤,而不是每次提问都重新检索片段。在 Harvey 的 LAB 律所知识基准上,以 GLM 5.3 为智能体模型,答案满足专家评分标准的比例从 agentic RAG 的 55.1% 升到 84.2%,平均任务成本从 0.64 美元降到 0.28 美元;在 Sierra 的 tau-knowledge 银行基准上,以 GLM 5.2 运行,知识织物与基线准确率相当,token 用量少 64%。

AI-generated editorial illustration: How we built the knowledge fabric for enterprise agents

深度剖析

企业智能体回答复杂问题时,不再从零开始逐条检索文档片段,而是先在一层预先编译好的结构化知识上定位信息。 此前的做法是检索增强生成:文档被切成小块建索引,提问时取回最相关的若干片段交给模型,片段脱离上下文、跨文件事实无法合并,且每个问题都要重做一遍。 在 Harvey 的 LAB 基准上,以 GLM 5.3 为智能体模型,答案满足专家评分标准的比例为 84.2%,agentic RAG 为 55.1%;平均任务成本从 0.64 美元降到 0.28 美元,该结果高于 Harvey 自有框架报告的 GPT-5.6 Sol 的 79.1% 与 Opus 4.8 的 71.7%。

这套结构分两层:一层让智能体像浏览文件系统一样在语料中导航,另一层把领域中的实体和关系记成可查询的形式。 知识树把每份长文档变成一个带索引的文件夹,索引列出标题、摘要和各章节的页码范围;领域本体则定义实体类型、属性和关系,例如交易记录其类型、状态、金额和承销方式。 在四个公开基准上,以 GLM 5.2 对同一批解析后文档比较,知识树导航相对扁平混合检索的成绩为:BrowseComp-Plus 830 题从 75.5% 到 91.3%,BRIGHT-Pro 739 题从 84.3% 到 90.4%,FinanceBench 150 题从 82.1% 到 88.7%,OfficeQA Pro 133 题从 33.8% 到 51.6%。

本体层把过滤和连接交给结构化查询完成,因此准确率提高的同时 token 和工具调用反而下降。 只用知识树时,智能体靠反复阅读和推理来探索,token 用量超过 RAG 基线两倍以上;加入本体后,筛选在数据库里完成。 LAB 的三种配置对比中,本体配置每任务 14.2 次工具调用、0.86M token、8.6 分钟、0.28 美元,知识树为 59.2 次、3.79M、30.8 分钟、1.18 美元,agentic RAG 为 36.5 次、1.80M、30.0 分钟、0.64 美元;本体配置 250 个任务全部给出答案,agentic RAG 有 9 个未作答。

启示与展望

已展示的范围是企业文档与结构化数据上的知识问答:LAB 模拟律所的 9,288 个文件、266 个事项、46 个客户和 250 个请求,tau-knowledge 模拟银行的 698 份文档和 97 个全对全错评分的任务,以及四个公开检索基准。知识织物可运行在组织自有环境,包括使用较小模型的隔离环境;本体由智能体起草、领域专家审校,每次变更都版本化并在上线前重跑该领域的评测集。

知识树并未解决完整性问题,智能体仍需判断哪些文档描述同一事物、是否已找全相关记录,这正是第二层要处理的部分。tau-knowledge 上知识织物完成 39 个任务、基线完成 38 个,属于准确率相当而非提升。作者表示仍在改进编译的准确率与效率,并把共享持久记忆列为下一步方向。