英伟达发布Kumo Relational:不训练、不展平表格,直接在关系数据库上做预测
核心概要
英伟达发布预训练关系基础模型Kumo Relational,它直接在企业关系数据库上做预测,无需任务特定训练、特征工程或把多表展平成一张宽表。模型在15个数据库的41项任务上超过监督式关系深度学习模型和专家特征工程加梯度提升树的流水线,并在SAP SALT企业基准上把平均倒数排名(MRR)比AutoGluon集成高出8%。预测以声明式查询给出,模型在推理时用历史样本作为上下文完成一次前向计算。
深度剖析
关系数据库上的预测建模多了一条不训练的路:给定一条预测查询,预训练模型直接输出流失、需求或欺诈等结果,不需要为每个任务单独训练模型,也不需要人工把多表聚合成一张宽表。 此前的做法要么依赖数周的特征工程与任务特定训练,要么把用户、订单、产品之间的关联手工聚合成“近30天平均订单额”这类固定统计量,细粒度结构信号在这一步丢失。 在来自RelBench V1与V2、SAP SALT和4DBInfer的15个数据库、41项基准上,模型在分类与回归两类任务上都优于最强的监督模型,包括关系深度学习模型和专家特征工程的表格集成;这些数据集均未出现在预训练中。
模型把数据库当作数据库来读:它尊重表、外键和时间戳,先在各表内部理解数值,再沿主外键关系把记录连起来,最后把带已知标签的历史样本与待预测实体对照。 实现方式是上下文学习,即推理时把历史样本作为上下文示例,而不是更新权重;每个示例是某实体在某一时刻周围的局部子图及其真实目标。 在SAP SALT企业基准上,它的平均倒数排名比大型AutoGluon集成高8%,微调后领先扩大到16%;在RelArena-α上,它在相近准确度下比rtl-plurel快约430倍。
预训练完全使用合成关系数据,生成器按模式、行间外键连接和带时间趋势与跨表依赖的列值三步造出整库,因此预训练数据实际上不受限。 真实且多样的关系数据库很少公开,合成数据填补了这一空缺;生成器建立在PluRel把单表生成器扩展到完整关系数据库的做法之上。 预训练损失随合成数据库增加呈幂律下降,且增益能迁移到真实数据库;在困难条件下,仅用0.2%的训练数据作上下文仍表现良好,移除最多75%的外键连接时保持稳定,加入噪声列时性能几乎不退化。
启示与展望
已展示的范围是15个数据库上的41项基准,涵盖电商、医疗、企业、社交与学术领域,以及SAP SALT企业基准和RelArena-α排行榜;模型以开源库、Hugging Face权重和NIM服务形式提供,代码采用Apache 2.0许可,权重采用OpenMDW 1.1许可。
在训练集非常大的任务上,任务特定的监督模型仍可能略优于上下文预测;预测信号必须能在有限跳数内到达;模型在有意义关系和时间动态的数据上表现最好。
