# 表格基础模型

10 篇关联报道

订阅更新

bioRxiv 2026年11月9日
表格基础模型TabPFN 3.5不调参就追平物种分布模型，微调后成为基准上最佳单模型
只用“出现记录”预测物种会在哪里出现，长期依赖MaxEnt等需逐数据集调参的物种分布模型。TabPFN 3.5在225种、六个区域的标准基准上不调参即取得平均AUC 0.732，与已发表最佳的五模型集成持平；用其他区域的“出现—背景”任务微调后升至0.736，成为基准上最佳单模型，并显著优于MaxEnt的0.728。作者同时指出，六个区域不足以证明这一优势能推广到新区域，且模型对环境偏倚采样敏感。
只用“出现记录”预测物种会在哪里出现，长期依赖MaxEnt等需逐数据集调参的物种分布模型。TabPFN 3.5在225种、六个区域的标准基准上不调参即取得平均AUC 0.732，与已发表最佳的五模型集成持平；用其他区域的“出现—背景”任务微调后升至0.736，成为基准上最佳单模型，并显著优于MaxEnt的0.728。作者同时指出，六个区域不足以证明这一优势能推广到新区域，且模型对环境偏倚采样敏感。
Tokyo Metropolitan University Kyoto University Fujitsu (Japan)
Hideyuki Doi（第一作者、通讯作者）
表格基础模型 TabPFN 微调
arXiv 2026年10月12日
整张表格也能变成一个向量：冻结的表格基础模型已自带数据集级结构，对比后训练再把检索做稳
把预训练的表格基础模型直接当作整份监督数据集的编码器，一次前向就把未见过的数据集映射成定长向量，在六个数据集级任务上取得最强综合排名。
University of Technology Nuremberg
Rafiq Kamel（第一作者）
TabMF数据集表示框架表格基础模型对比学习表示学习
arXiv 2026年10月12日
表格基础模型排名会换位：160个分类与81个回归数据集上，预测准不等于区间可信
在160个分类和81个回归数据集上，表格基础模型的排名会随基准与指标改变，回归模型虽已接近名义边际覆盖率，但最差子群覆盖仍偏低，说明选型不能只看聚合预测精度。
National University of Singapore Mohamed bin Zayed University of Artificial Intelligence Cerebras Systems (United States)Renmin University of China
Tianqi Zhao（第一作者）
TabReliBench基准表格基础模型不确定性量化共形预测
arXiv 2026年10月12日
表格基础模型不再只学采样硬标签：三个架构平均排名改善，成对比较赢下62.1%
表格基础模型预训练时，查询预测一直按采样出的硬标签计算损失，同一输入下只保留一个类别的监督信号，采样波动因此留在预训练里。GIST把合成任务生成与查询监督一起设计：在可解析的分支上用生成器保留的中间状态对条件标签分布求平均，并用熵预算校准类别编码的噪声尺度。在匹配的预训练日程下，TabICLv2、TabSwift和TabPFN-2.5三个架构在TabArena与TALENT上的平均排名都有改善，架构与推理过程不变，跨这些基准与架构的成对数据集级比较中赢下62.1%。
表格基础模型预训练时，查询预测一直按采样出的硬标签计算损失，同一输入下只保留一个类别的监督信号，采样波动因此留在预训练里。GIST把合成任务生成与查询监督一起设计：在可解析的分支上用生成器保留的中间状态对条件标签分布求平均，并用熵预算校准类别编码的噪声尺度。在匹配的预训练日程下，TabICLv2、TabSwift和TabPFN-2.5三个架构在TabArena与TALENT上的平均排名都有改善，架构与推理过程不变，跨这些基准与架构的成对数据集级比较中赢下62.1%。
Zhangyang Peng（第一作者）
GIST生成器状态知情监督表格基础模型 Rao-Blackwell化熵预算校准合成任务生成
arXiv 2026年10月9日
测试时计算如何提升表格基础模型：DiagScale 微调与贪心聚合带来稳定增益，上下文构建收益依任务而定
该工作沿适配、聚合与上下文构建三条轴线系统研究测试时计算对预训练表格基础模型预测的影响：提出仅训练 0.003-0.03% 参数的 DiagScale 对角查询-键相似度更新，在三个独立预训练骨干上取得与全量微调相当的增益；在 96 种配置池上贪心选择相对默认预测器降低 2.4% 误差，而均匀平均反而增大误差；注意力引导检索在部分大表上改善 TabPFN-3 预测，上下文扩展方法则无一致提升。
该工作沿适配、聚合与上下文构建三条轴线系统研究测试时计算对预训练表格基础模型预测的影响：提出仅训练 0.003-0.03% 参数的 DiagScale 对角查询-键相似度更新，在三个独立预训练骨干上取得与全量微调相当的增益；在 96 种配置池上贪心选择相对默认预测器降低 2.4% 误差，而均匀平均反而增大误差；注意力引导检索在部分大表上改善 TabPFN-3 预测，上下文扩展方法则无一致提升。
Morgan Stanley (United States)University of Connecticut
Kanghui Ning（第一作者）
测试时计算表格基础模型 DiagScale TabPFN-3 微调
arXiv 2026年10月8日
Retro 通过回溯推理让表格基础模型提前并分散预测修正，在 TabArena、TALENT、RelArena 上进入前三
作者逐查询追踪 TabICLv2、TabPFN-3 与 EXAONE-Tabular 的逐层预测变化，发现预测修正高度不均且常集中在后段；据此提出回溯推理并构建 Retro，用 Attention Residuals 自适应重加权不同深度的中间贡献、用查询条件门控注意力逐维调制上下文更新，使修正提前且更分散，在 TabArena、TALENT、RelArena 上总体 Elo 进入前三并位于性能—成本帕累托前沿。
作者逐查询追踪 TabICLv2、TabPFN-3 与 EXAONE-Tabular 的逐层预测变化，发现预测修正高度不均且常集中在后段；据此提出回溯推理并构建 Retro，用 Attention Residuals 自适应重加权不同深度的中间贡献、用查询条件门控注意力逐维调制上下文更新，使修正提前且更分散，在 TabArena、TALENT、RelArena 上总体 Elo 进入前三并位于性能—成本帕累托前沿。
Nanjing University
Hao-Run Cai（第一作者）
Retro 回溯推理注意力残差门控注意力表格基础模型
arXiv 2026年10月1日
把表格基础模型蒸馏成轻量学生模型：在 TabArena 上比调参集成基线高出 57–98 Elo，推理最高提速 21.6 倍
该工作研究如何把依赖上下文学习的表格基础模型（TFM）蒸馏为轻量、面向单一数据集的学生模型，提出以完整标注训练集作为教师上下文、仅用教师对真实与合成查询的预测来训练学生的配方，在 TabArena 上学生模型比经过调参与集成的监督基线高出 57–98 Elo 分，在 TALENT 上于 300 个数据集中的 236–258 个上优于匹配的默认学生模型并把主指标中位误差降低 4.0–6.4%，同时相对教师取得 3.0–21.6 倍的中位推理加速。
该工作研究如何把依赖上下文学习的表格基础模型（TFM）蒸馏为轻量、面向单一数据集的学生模型，提出以完整标注训练集作为教师上下文、仅用教师对真实与合成查询的预测来训练学生的配方，在 TabArena 上学生模型比经过调参与集成的监督基线高出 57–98 Elo 分，在 TALENT 上于 300 个数据集中的 236–258 个上优于匹配的默认学生模型并把主指标中位误差降低 4.0–6.4%，同时相对教师取得 3.0–21.6 倍的中位推理加速。
Minho Jeong（第一作者）
知识蒸馏表格基础模型
arXiv 2026年9月30日
TabFM-Auto 用 LLM 智能体围绕冻结的 TabFM 演化数据管线，在 TabArena 全部 51 个数据集上把 Elo 从 1785 提升到 2013
TabFM-Auto 把冻结的表格基础模型 TabFM 与一个语言模型编码智能体配对，让智能体依据数据集元数据与验证反馈迭代改写数据清洗、特征工程、上下文选择和后处理四个阶段的管线，在 TabArena 全部 51 个数据集上五种配置占据总榜前五名，最佳配置（Codex 配 Opus 5）把 TabFM 从 1785.3 Elo 提升到 2013.0 Elo，所发现的管线无需再搜索即可迁移到 TabPFN-3、TabICLv2 和 EXAONE-Tabular（提升 69 至 143 Elo），并在 MLE-Bench 的 8 个表格竞赛中在 MLE 智能体里排名第一。
TabFM-Auto 把冻结的表格基础模型 TabFM 与一个语言模型编码智能体配对，让智能体依据数据集元数据与验证反馈迭代改写数据清洗、特征工程、上下文选择和后处理四个阶段的管线，在 TabArena 全部 51 个数据集上五种配置占据总榜前五名，最佳配置（Codex 配 Opus 5）把 TabFM 从 1785.3 Elo 提升到 2013.0 Elo，所发现的管线无需再搜索即可迁移到 TabPFN-3、TabICLv2 和 EXAONE-Tabular（提升 69 至 143 Elo），并在 MLE-Bench 的 8 个表格竞赛中在 MLE 智能体里排名第一。
The University of Texas at Austin University of Southern California Harvard University
Deqing Fu（第一作者）
TabFM-Auto TabFM 表格基础模型大语言模型智能体表格预测
arXiv 2026年9月26日
张智恒提出波动监督预训练FSP：在24个非线性连续协变量单元中把宏平均RMSE较S-learner降低7.0%，并在效应漂移下较潜效应监督降低54.2%
该工作提出波动监督预训练（FSP）：用平均处理效应加上其有效影响函数波动来标注每张合成表，部署时仍是一次冻结前向传播；作者证明在路径 T_λ,P=θ(P)+λP_nψ_P 上存在端点转变——任何固定 λ<1 都保留量级为 (1-λ)²/n 的标签模糊性，而完整波动使高斯标签可观测并把最优有限分层因果标签预测风险降到 n^-2 量级；实验显示在训练上下文长度下、24个非线性连续协变量单元中，连续行FSP把检查点平均宏RMSE较S-learner降低7.0%并赢下全部12个弱重叠单元，验证集选出的Summary FSP在单线程热启动基准中每表部署快11.6倍，效应漂移下匹配的Raw FSP较潜效应监督把平均
该工作提出波动监督预训练（FSP）：用平均处理效应加上其有效影响函数波动来标注每张合成表，部署时仍是一次冻结前向传播；作者证明在路径 T_λ,P=θ(P)+λP_nψ_P 上存在端点转变——任何固定 λ<1 都保留量级为 (1-λ)²/n 的标签模糊性，而完整波动使高斯标签可观测并把最优有限分层因果标签预测风险降到 n^-2 量级；实验显示在训练上下文长度下、24个非线性连续协变量单元中，连续行FSP把检查点平均宏RMSE较S-learner降低7.0%并赢下全部12个弱重叠单元，验证集选出的Summary FSP在单线程热启动基准中每表部署快11.6倍，效应漂移下匹配的Raw FSP较潜效应监督把平均
Shanghai University of Finance and Economics
Zhiheng Zhang（第一作者、通讯作者）
波动监督预训练表格基础模型平均处理效应估计
Journal of Chemical Information and Modeling 2026年9月14日
上下文学习遇上小分子性质预测：新型机器学习方法基准测试
该研究系统基准测试了基于上下文学习的表格基础模型（TFM）在小有机分子性质预测上的表现，在11个数据集（回归任务、随机与结构感知划分、每个最多10000个分子）上将其与XGBoost、CatBoost、多层感知机等描述符方法及图方法比较，发现TFM在基线经过仔细超参数选择的情况下仍持续优于描述符方法，并与图方法（包括经化学数据预训练者）精度相当或更好，Uni-Mol2在部分实验中略优于TFM，而检索策略（对每个测试分子取Tanimoto相似度最近的500个邻居）在较大数据集和随机划分上带来进一步改进。
该研究系统基准测试了基于上下文学习的表格基础模型（TFM）在小有机分子性质预测上的表现，在11个数据集（回归任务、随机与结构感知划分、每个最多10000个分子）上将其与XGBoost、CatBoost、多层感知机等描述符方法及图方法比较，发现TFM在基线经过仔细超参数选择的情况下仍持续优于描述符方法，并与图方法（包括经化学数据预训练者）精度相当或更好，Uni-Mol2在部分实验中略优于TFM，而检索策略（对每个测试分子取Tanimoto相似度最近的500个邻居）在较大数据集和随机划分上带来进一步改进。
Russian Academy of Sciences
Dmitriy D. Matyushin（第一作者）
表格基础模型 TabPFN 上下文学习分子性质预测检索增强推理

已读完全部报道