跳到主要内容
返回时间线
arXiv来源发表:

表格基础模型排名会换位:160个分类与81个回归数据集上,预测准不等于区间可信

核心概要

在160个分类和81个回归数据集上,表格基础模型的排名会随基准与指标改变,回归模型虽已接近名义边际覆盖率,但最差子群覆盖仍偏低,说明选型不能只看聚合预测精度。

Source-provided article image: TabReliBench: Evaluating Tabular Foundation Models Beyond Predictive Accuracy
Figure 1 · arXiv

深度剖析

表格基础模型的相对名次并不稳定,换一个基准或换一个可靠性指标,领先者就会换人。 此前的表格基准主要按聚合预测性能排序,例如TabArena只比较预测表现,不刻画后验预测分布的性质。 在160个分类和81个回归数据集上,同一批模型在TabArena与本基准之间名次互换;在本基准内部,分类准确率名次最低的是LimiX-2,Brier分数与类间ECE最低的是TabPFNv3.5,置信度ECE最低的是Causilo。

回归模型给出的预测区间在整体上已接近目标覆盖率,但这一整体表现掩盖了特征空间局部区域的覆盖不足。 边际覆盖率只统计全部测试点的平均覆盖比例,不区分特征取值不同的子群。 在90%名义水平下,每个配置的最差子群覆盖率都低于其边际覆盖率;TabPFNv3.5、TabICLv2和Causilo两者都接近目标,BART靠边际过度覆盖换取接近目标的最差子群覆盖率,代价是区间明显更宽。

分数差异主要来自数据集本身,而不是模型之间的平均差距,因此元特征更容易预测模型整体表现的好坏,而不是谁最好。 此前的元特征分析只在TabArena的51个数据集上预测模型族之间的性能差距,且留出可预测性有限。 对准确率、Brier分数、决定系数和归一化CRPS,元特征能预测跨模型的平均分数偏移,但模型相对偏差的留出预测几乎停留在基线;覆盖率误差和PIT-KS的平均偏移即使使用Extra-Trees也难以预测。

增大集成规模主要改善预测精度和恰当评分,而直接校准诊断和子群覆盖并不会随之稳定改善。 集成与保形后处理常被当作提升可靠性的通用手段,但它们对边际覆盖、子群覆盖和区间宽度的影响此前未被系统比较。 分类集成从8个成员增到64个时,11个模型的准确率中位数全部上升,Brier分数全部改善;但类间ECE只有5个分类模型改善,PIT-KS只有3个分布回归模型改善;全局与协变量自适应保形方法都没有一致消除最差子群覆盖不足。

启示与展望

评估覆盖160个分类和81个回归数据集,每个数据集最多采样10000个观测并做五次训练测试划分,模型包括11个分类表格基础模型、9个回归表格基础模型以及BART、RealMLP和XGBoost的固定与调参配置。最差子群覆盖率衡量的是所选特征切片上的覆盖,并不等同于逐点条件覆盖。需要继续观察的是,这些结论在本文所评估的数据集、配置和可靠性指标之外是否成立。

最差子群覆盖率不保证逐点条件覆盖,因此接近名义值并不等于条件校准成立。分数分解依赖所比较的方法集合,加入经典基线后回归的模型与交互项占比变大。元特征关联是探索性的样本内结果,不估计独立效应,也不建立因果关系。保形方法中PCP以及较少情况下的CalLCP和RLCP在更高目标覆盖率下产生更多无限区间,覆盖率提升可能以信息量下降为代价。