# TabPFN-3

表格基础模型做上下文学习时，每次预测都要把全部训练样本送进前向计算，砍掉上下文虽省算力却明显掉点。激活对齐改为用完整上下文教一个受限学生模型：在合成无标签数据上拟合一层线性变换，把学生某一层的中间激活拉向教师。在TabArena的38个分类数据集上，用TabPFN-3与TabFM评测，对齐后的学生在全部上下文预算上多数优于未对齐基线，低数据区间可补回教师约一半的领先幅度。

表格基础模型做上下文学习时，每次预测都要把全部训练样本送进前向计算，砍掉上下文虽省算力却明显掉点。激活对齐改为用完整上下文教一个受限学生模型：在合成无标签数据上拟合一层线性变换，把学生某一层的中间激活拉向教师。在TabArena的38个分类数据集上，用TabPFN-3与TabFM评测，对齐后的学生在全部上下文预算上多数优于未对齐基线，低数据区间可补回教师约一半的领先幅度。

该工作沿适配、聚合与上下文构建三条轴线系统研究测试时计算对预训练表格基础模型预测的影响：提出仅训练 0.003-0.03% 参数的 DiagScale 对角查询-键相似度更新，在三个独立预训练骨干上取得与全量微调相当的增益；在 96 种配置池上贪心选择相对默认预测器降低 2.4% 误差，而均匀平均反而增大误差；注意力引导检索在部分大表上改善 TabPFN-3 预测，上下文扩展方法则无一致提升。

该工作沿适配、聚合与上下文构建三条轴线系统研究测试时计算对预训练表格基础模型预测的影响：提出仅训练 0.003-0.03% 参数的 DiagScale 对角查询-键相似度更新，在三个独立预训练骨干上取得与全量微调相当的增益；在 96 种配置池上贪心选择相对默认预测器降低 2.4% 误差，而均匀平均反而增大误差；注意力引导检索在部分大表上改善 TabPFN-3 预测，上下文扩展方法则无一致提升。