语言模型的上下文学习不是一次学会：答案控制权先换手，准确率要等上万亿词元才跟上

语言模型使用提示的方式可以分成两类，而最终答案的正确率无法区分它们：模型可以复用与查询最相近示例的输出模式，也可以把提示中分散给出的映射组合起来用于新组合。 常规上下文学习评测中这两种做法预测同一个输出，正确只说明上下文有用，不说明怎么用；受控诊断让两者给出不同答案，从而把偏好排序出来。 在17个模型上，6个把照抄答案与正确答案合计概率的至少六成给照抄答案，8个至多给两成，3个落在两者之间；高照抄组的正确形式很少排第一，低照抄组通常排第一，精确生成也按同一顺序排列，且这一分组不是规模效应，Pythia-12B照抄而Qwen3-1.7B与Gemma-3-4B组合。

训练过程中，答案由哪个提示来源控制，比准确率更早发生改变。 早期检查点由最近示例的结尾主导，屏蔽该结尾对照抄与正确候选差距的影响远大于屏蔽提问取值；这一平衡在336B到630B词元之间反转。 OLMo-2-7B的四选准确率拟合曲线约在1.5T词元越过随机水平，缺失形式的精确生成约在3.6T词元才出现；在达到组合的16条发布训练序列中，OLMo-3与Comma满足全部排序判据，未达到组合的运行始终没有让提问取值持续取得控制。

训练信号决定模型练习哪一种提示用法，并且只有被练习的那种用法会迁移。 把继续预训练流中约3%替换为“先定义结尾、再查询”的合成文档，使SmolLM2-1.7B从照抄主导转为查询主导；仅接触自然文本中的定义、或对十个照抄偏好注意力头施加惩罚，都只改变两个候选之间的差距而不产生缺失形式。 合成文档训练在50M词元时已使偏好指标降到接近零、精确生成升到接近上限，而普通续训保持照抄主导；在SmolLM2-360M上，“每个被查询组合都已在另一词干上出现”的全展示条件与留出条件在同一检查点越过阈值，说明学会通过临时映射解析查询并不需要练习未出现的组合。

这套诊断是单一受控任务，代码版本与Southern Quechua版本把对照带入另外两种编码。训练实验使用至多8B参数的模型，合成文档与诊断共享格式，因此产生的迁移是设计所预期的格式绑定迁移；作者把更大模型与更多样训练数据列为下一步检验。定义练习的迁移在TREC、DBpedia与Yahoo的替换标签评测上成立，而关系推理套件下降数点，说明教的是遵循提示赋予的标签而非一般提示依赖任务。

作者指出诊断只覆盖一种受控任务，上下文学习还包含许多其他行为，四项测量只是提出它们是否按同一顺序发展的问题。定位依赖提示跨度干预，选出的注意力头只承载部分行为。OLMo-2-13B在训练中三次改变符号，OLMo-7B-0424在准确率越过随机后很久才稳定为负；Marin-8B-Base在首个公开检查点已越过两个阈值，排序无法定日期。Quechua标准拼写下分词器常把词干末元音与后缀合并，八个模型的正确形式排第一比例降到接近随机。