思维链为何能解没见过的多步题:同一步预测器反复复用,误差按步数亚线性累积
思维链的分布外泛化被解释为组合式泛化:训练只给单步原子转移,目标任务却需要多步组合。理论把目标风险写成各单步风险之和乘以一个与步数无关的系数,并证明共享同一个预测器使估计项按步数的平方根倒数收缩,而非随步数线性增长。Atom-Task 与 GSM8K 实验支持短链到长链、以及未见操作组合上的迁移,同时显示显式状态跟踪不可缺少。
思维链的分布外泛化被解释为组合式泛化:训练只给单步原子转移,目标任务却需要多步组合。理论把目标风险写成各单步风险之和乘以一个与步数无关的系数,并证明共享同一个预测器使估计项按步数的平方根倒数收缩,而非随步数线性增长。Atom-Task 与 GSM8K 实验支持短链到长链、以及未见操作组合上的迁移,同时显示显式状态跟踪不可缺少。
已读完全部报道