Databricks 把 Genie Ontology 推向正式可用:智能体答对率 91%,对手最高 58%
核心概要
Databricks 宣布 Genie Ontology 正式可用,这是一层由智能体自动学习、由人治理的企业业务上下文。过去企业本体由专家手工维护,只覆盖业务的一小部分并很快过时;Genie Ontology 从仪表盘、SQL 查询、笔记本和语义模型中抽取可复用的本体片段,再按权威度排序后交给智能体。在与 Turing 共建的虚构英国能源供应商基准上,接入该本体的 Genie 在 91% 的运行中答对,两个前沿智能体分别为 45% 和 58%。
深度剖析
企业里多个智能体跨职能部署后,每个都需要同一份准确完整的业务理解,而这份上下文比任何团队手工写出或建模的规模都大得多。 此前企业本体由专家构建并手工维护,只捕获业务的狭窄切片,并随业务演进迅速过时。 Databricks 称已有数千客户以手工整理上下文的方式在生产中运行 Genie Agents,包括 7-Eleven、Virgin Atlantic 和 General Motors。
Genie Ontology 把知识分成自动学习与人工建模两部分,再由一个按权威度排序的算法为每个问题挑选最可信的上下文。 学习部分来自团队日常使用的 Databricks 仪表盘、SQL 查询、笔记本和 Power BI 等工具中的语义模型,被记录为可复用的本体片段并随源资产变化持续刷新。 建模部分通过 Unity Catalog 语义治理,包括存放已认证 KPI 的 Metric Views、按业务领域组织知识的 Domains,以及记录权威定义的 Pages;OntoRank 综合来源权威性、认证、知识背后人员的专长与相关性、流行度和新鲜度来消解冲突定义。
在与 Turing 共建的基准上,接入 Genie Ontology 的 Genie 比两个前沿智能体答对更多问题,同时消耗更少 token、用时更短。 该基准模拟一个虚构英国能源供应商的真实 Databricks 工作区,针对现有数据智能体基准多聚焦表格、前沿智能体得分相近、而真实企业问题依赖分散在笔记本、仪表盘和文档中的业务上下文这一状况。 每个智能体对每个任务回答五次,答案按运行前定义的评分标准打分:Genie 通过率 91%、平均每次运行 100 秒、432K token;Agent A 为 45%、435 秒、889K token;Agent B 为 58%、307 秒、1.05M token。
启示与展望
已展示的范围是一个虚构英国能源供应商的 Databricks 工作区基准,以及 Databricks 称已在生产中手工整理上下文运行 Genie Agents 的数千客户;结果反映的是团队已积累该知识的成熟部署。Databricks 表示客户团队可以协助在自有工作区运行同一评测。
Databricks 说明结果反映的是已积累知识的成熟部署,因此新工作区上的表现未被该基准覆盖。外部知识源目前处于 Beta 且仅支持 Power BI,Tableau 与 Sigma 支持及血缘支持尚未提供;Ontology Manager 尚待以 Beta 形式推出。
