跳到主要内容
返回时间线
arXiv来源发表:

整张表格也能变成一个向量:冻结的表格基础模型已自带数据集级结构,对比后训练再把检索做稳

核心概要

把预训练的表格基础模型直接当作整份监督数据集的编码器,一次前向就把未见过的数据集映射成定长向量,在六个数据集级任务上取得最强综合排名。

AI-generated editorial illustration: TabMF: Learning Dataset Representations with Tabular Foundation Models

深度剖析

整份监督数据集现在可以被编码成一个定长向量,供数据集检索、基准构建和分布漂移监测这类数据集级任务复用。 此前的做法要么依赖人工设计的元特征,其表示由设计固定、无法随新的相似性定义调整,要么从零训练专用的数据集编码器,不利用大规模预测式预训练得到的表示。 在训练时未见过的真实数据集上,两个 TabMF 编码器在六个主评测任务中取得最强的两个综合排名,中位排名分别为 1.5 和 2.0,并在六个单项任务中的五个上数值领先。

做法是把一个已经会做预测的表格基础模型改造成整份数据集的编码器,而不是另起一个网络从头学。 TabMF 给预训练骨干接上一个与内部结构匹配的数据集级读出,再用对比式后训练在合成监督数据集的随机视图上端到端调整整个模型。 训练视图由 TabICLv2 的图结构先验在线生成,行有放回重采样、特征无放回子采样,并对 30% 的列施加噪声与傅里叶变换而标签不变;两个编码器分别用 45,000 步、两张 H100 训练,约 315 与 273 GPU 小时。

预测式预训练本身就已经在模型内部留下了可用的数据集级结构,不需要任何数据集级训练。 直接对冻结骨干的内部状态做平均池化,就能得到较强的数据集嵌入,而不是必须依赖专门训练的数据集编码器。 冻结的 TabICL ICL-mean 在检索上超过 Dataset2Vec 与 Neural Statistician,在数据集属性预测上与学习型编码器和经典元特征相当;在 epiplexity 预测上,冻结表示在线性探针下反而强于对应的 TabMF 编码器。

启示与展望

评测覆盖分类数据集与两个预训练表格基础模型骨干,编码器在合成数据上后训练后迁移到未见过的真实数据集。适用读者是需要做数据集检索、基准子集选择或分布漂移监测的机器学习研究者与工程师,推理时一份数据集一次前向即可得到定长向量。后训练使用 TabICLv2 的图结构先验,扩展到回归与其他架构、或使用更广的合成先验与合成真实混合数据,是文中提出的下一步方向。

表示是显式监督的:即使特征表不变,改变指定目标也会改变表示。epiplexity 预测上冻结表示在线性探针下更强,作者说明线性结果只反映属性被读取的难易,用更强的非线性探针后两个 TabMF 编码器与其冻结对应物不再显著分离。TableShift 评测只有九个任务级观测,作者不据此断言编码器之间的两两优劣。量化变换下两个变体都低于 PyMFE。