Minglai Yang

语言模型在提示中学习的能力并非一次性获得。一项受控诊断把“照抄最近示例”与“组合提示中给出的映射”分开，在17个模型上发现约三分之一偏好照抄答案，其余偏好规则一致的答案；在OLMo-2-7B的训练轨迹上，对提问取值的依赖在准确率超过随机水平之前数百亿词元就已压过对冲突示例的依赖。合成文档训练能把偏好从照抄翻转为按查询作答，而仅暴露定义或压制照抄注意力头都做不到。

语言模型在提示中学习的能力并非一次性获得。一项受控诊断把“照抄最近示例”与“组合提示中给出的映射”分开，在17个模型上发现约三分之一偏好照抄答案，其余偏好规则一致的答案；在OLMo-2-7B的训练轨迹上，对提问取值的依赖在准确率超过随机水平之前数百亿词元就已压过对冲突示例的依赖。合成文档训练能把偏好从照抄翻转为按查询作答，而仅暴露定义或压制照抄注意力头都做不到。