把表格基础模型蒸馏成轻量学生模型:在 TabArena 上比调参集成基线高出 57–98 Elo,推理最高提速 21.6 倍
该工作研究如何把依赖上下文学习的表格基础模型(TFM)蒸馏为轻量、面向单一数据集的学生模型,提出以完整标注训练集作为教师上下文、仅用教师对真实与合成查询的预测来训练学生的配方,在 TabArena 上学生模型比经过调参与集成的监督基线高出 57–98 Elo 分,在 TALENT 上于 300 个数据集中的 236–258 个上优于匹配的默认学生模型并把主指标中位误差降低 4.0–6.4%,同时相对教师取得 3.0–21.6 倍的中位推理加速。