跳到主要内容
检索

# 分布外泛化

3 篇关联报道

订阅更新
  1. arXiv

    思维链为何能解没见过的多步题:同一步预测器反复复用,误差按步数亚线性累积

    思维链的分布外泛化被解释为组合式泛化:训练只给单步原子转移,目标任务却需要多步组合。理论把目标风险写成各单步风险之和乘以一个与步数无关的系数,并证明共享同一个预测器使估计项按步数的平方根倒数收缩,而非随步数线性增长。Atom-Task 与 GSM8K 实验支持短链到长链、以及未见操作组合上的迁移,同时显示显式状态跟踪不可缺少。

  2. arXiv

    物理信息不再只用来挑样本:PI-Init 先做无标签预训练,Burgers 误差降 53.3%

    神经算子训练需要昂贵的数值解标签,而PDE输入和控制方程本身是廉价的物理信息。PI-Init把这份廉价信息用在初始化上:先在无标签输入上用物理损失预训练,再保留参数做监督微调。在Burgers、1D Advection等基准上,同等标签预算下FNO预测误差分别降低53.3%和62.7%,Burgers上仅用200条标签轨迹即优于监督训练用2000条。

  3. arXiv

    大模型不再直接报带隙:Motif改用化学分类做环境,二维钙钛矿OOD误差从0.122降到0.111 eV

    在二维卤化物钙钛矿带隙预测上,Motif把大语言模型的角色从直接给出数值改为离线生成化学分类,再用这些分类划分环境做不变特征筛选。六折留一间隔基家族测试中,平均OOD平均绝对误差从kNN+GBT基线的0.122 eV降到0.111 eV;在冻结开发/测试协议下,可部署配置把电子带隙误差从0.123降到0.117 eV,光学带隙从0.181降到0.173 eV。

已读完全部报道