思维链为何能解没见过的多步题：同一步预测器反复复用，误差按步数亚线性累积
思维链的分布外泛化被解释为组合式泛化：训练只给单步原子转移，目标任务却需要多步组合。理论把目标风险写成各单步风险之和乘以一个与步数无关的系数，并证明共享同一个预测器使估计项按步数的平方根倒数收缩，而非随步数线性增长。Atom-Task 与 GSM8K 实验支持短链到长链、以及未见操作组合上的迁移，同时显示显式状态跟踪不可缺少。
自生成监督不再只靠整题猜答案：把子问题预测拼成更难样本的标签，组合式自改进能越过初始能力边界
模型对更难、分布外样本难以给出可靠自生成监督，组合式自改进改为先预测较简单的子问题，再按组合规则拼成整题标签并反复训练。在三个可控算法任务上，这种组合标签把可靠预测推到初始范围之外，而直接自改进在加法与网格导航上几乎没有扩展；程序生成与多跳推理也显示组合标签比直接自标签更准确，但子问题不可靠、组合规则失效和监督覆盖不足会限制收益。
语言模型的上下文学习不是一次学会：答案控制权先换手，准确率要等上万亿词元才跟上
语言模型在提示中学习的能力并非一次性获得。一项受控诊断把“照抄最近示例”与“组合提示中给出的映射”分开，在17个模型上发现约三分之一偏好照抄答案，其余偏好规则一致的答案；在OLMo-2-7B的训练轨迹上，对提问取值的依赖在准确率超过随机水平之前数百亿词元就已压过对冲突示例的依赖。合成文档训练能把偏好从照抄翻转为按查询作答，而仅暴露定义或压制照抄注意力头都做不到。
已读完全部报道