表格基础模型少看九成样本仍能打：只训一层线性对齐，10%上下文追平两到四倍数据
核心概要
表格基础模型做上下文学习时，每次预测都要把全部训练样本送进前向计算，砍掉上下文虽省算力却明显掉点。激活对齐改为用完整上下文教一个受限学生模型：在合成无标签数据上拟合一层线性变换，把学生某一层的中间激活拉向教师。在TabArena的38个分类数据集上，用TabPFN-3与TabFM评测，对齐后的学生在全部上下文预算上多数优于未对齐基线，低数据区间可补回教师约一半的领先幅度。
深度剖析
表格基础模型的预测成本随上下文样本数增长，因为每个预测都要把全部训练样本走一遍前向计算；激活对齐让模型在只看部分样本时仍按完整上下文的方式作答。 此前的做法是压缩上下文或剪掉冗余层，两者都需要大量GPU训练；激活对齐不动输入也不动架构，只改内部表示。 在TabArena的38个分类数据集上，用TabPFN-3与TabFM评测，对齐学生在全部上下文预算上对未对齐基线取得多数胜出，并报告统计显著性。
对齐器是一层线性映射，把受限学生模型某一层的中间激活朝完整上下文教师模型的激活方向修正。 训练只用合成无标签查询向量，不需要额外标签，也不需要把梯度回传穿过模型。 对齐器在预提取激活上以均方误差拟合，在普通CPU上数秒到数分钟收敛；评测覆盖38个数据集、5个上下文比例，教师优于基线的情形才纳入统计。
在低数据区间，对齐学生用10%的上下文就能达到未对齐学生用两到四倍样本的预测水平。 未对齐学生在上下文变小时性能明显下降，而对齐学生在全部评测预算上把中位有效样本比例保持在1以上。 在10%上下文时，TabPFN与TabFM的中位有效样本比例分别约为3.2与3.3；对齐学生还在超过80%的评测条件下胜过用全部数据训练的XGBoost。
启示与展望
评测限于分类任务，覆盖TabArena的38个数据集，使用TabPFN-3与TabFM两个表格基础模型，上下文比例从10%到50%为主并给出全谱结果。对齐器需要离线访问完整数据集以提取教师激活，因此解决的是推理时的算力与显存瓶颈，而不是数据本身稀缺的情形。作者提出可把对齐器与上下文压缩、层剪枝或检索式上下文选择组合，并探索非线性对齐器、多层干预与端到端蒸馏目标。
作者说明方法尚未在回归任务上验证，也未在更广的表格上下文学习架构上验证。38个数据集中有5个对两个模型都呈负的平均有效样本增益，目前没有特征能事先区分这些数据集。对齐器需要完整数据集来提取教师激活，因此不适用于数据本身就很少的场景。