表格基础模型不再只学采样硬标签：三个架构平均排名改善，成对比较赢下62.1%
核心概要
表格基础模型预训练时，查询预测一直按采样出的硬标签计算损失，同一输入下只保留一个类别的监督信号，采样波动因此留在预训练里。GIST把合成任务生成与查询监督一起设计：在可解析的分支上用生成器保留的中间状态对条件标签分布求平均，并用熵预算校准类别编码的噪声尺度。在匹配的预训练日程下，TabICLv2、TabSwift和TabPFN-2.5三个架构在TabArena与TALENT上的平均排名都有改善，架构与推理过程不变，跨这些基准与架构的成对数据集级比较中赢下62.1%。
深度剖析
表格基础模型的预训练监督不再只依赖采样出的那一个硬标签，而是对同一输入下生成器能给出的条件标签分布求平均。 此前的做法是让查询预测去拟合采样到的硬标签，虽然这是总体损失的蒙特卡洛无偏估计，但固定输入下采样标签只选中一个类别的损失，生成器本可提供的其余类别条件概率被丢弃。 在匹配的预训练日程下，TabICLv2、TabSwift和TabPFN-2.5三个架构在TabArena与TALENT上的平均排名都得到改善，六个架构与基准组合中GIST在多数数据集上取胜，跨这些基准与架构的成对数据集级比较胜率为62.1%。
条件监督的构造取决于采样标签是否进入输入生成：若标签抽取不影响模型输入，采样概率直接给出目标；若采样类别影响生成特征，这些特征本身携带额外标签证据。 直接对后验求值可能需要沿下游图做推断，因此只在受支持的分支上构造可解析目标，其余分支保留硬标签监督。 在受支持的标签依赖分支上，采样类别先映射为类别编码并加入高斯噪声，所有标签依赖的特征计算都经过该编码，其局部似然给出后验目标；熵预算按行概率与编码码字距离限制平均残余标签不确定性，不可行的预算退回原编码与采样硬标签。
启示与展望
报告覆盖的是表格基础模型在合成任务预训练阶段的监督设计，评估限于IID分类的TabArena与TALENT，以及BeyondArena的时间与分组OOD划分。方法不改变模型架构与推理流程，因此结论适用于采用PFN式合成先验的表格基础模型。分布偏移下的迁移仍是开放方向。
条件目标只在受支持的标签依赖分支上可解析，其余分支保留硬标签监督，因此平均效果取决于这些分支在任务中的占比。OOD结果随架构与指标而异：在三个架构共享的12个数据集上，多分类对数损失都下降，二分类AUC在TabICLv2与TabSwift上改善而在TabPFN-2.5上下降。熵预算的偏好值随基准与指标变化。