同一个词的两个意思，模型在预训练早期就分开了：14M里两个注意力头扛下大部分工作，410M换成一群更稳的头
核心概要
在Pythia语言模型的预训练过程中，词义消歧能力在约1000到2000步出现明显跃升，14M中两个第3层注意力头与这一跃升同步变化，消融它们会显著削弱消歧表现，而410M中承担该功能的头更多、对位置和词性扰动更稳健。
深度剖析
多义词的消歧能力在预训练早期就基本成形，而不是随训练缓慢爬升。 此前对注意力头特化的研究多集中在归纳头这类复制前文词串的机制上，词义消歧这一需要拆开同一词形下纠缠含义的任务很少被用来刻画注意力特化。 在Pythia系列14M到12B的最终检查点上，14M的R²为0.15，表现最好的6.9B为0.598，410M以约3%的参数量达到12B性能的92%；14M在约4.2B token、即预训练约1.4%处就已接近其最终水平，性能拐点出现在第1000步和第2000步。
承担消歧的注意力头在14M和410M里不是同一批，规模越大，这些头的行为越不依赖具体句式。 14M中只有第3层的(3,1)和(3,2)两个头在训练中与消歧表现同步增强，其中(3,2)对消歧词的注意力约为该模型各头均值的3.7个标准差。 在把消歧词与目标词隔开的插入串扰动下，14M只有(3,1)保持稳定，(3,2)转而注意紧邻目标词的前一个词；在词性扰动下，14M中注意消歧动词与注意消歧名词的头几乎不重叠。410M中则有(1,14)、(4,7)、(1,3)、(2,3)、(6,10)、(1,13)等头在位置和词性扰动下仍持续注意消歧线索。
消融这些头会直接损害消歧表现，但损害大小随模型规模和所用层而变。 此前对注意力头因果作用的检验多针对归纳头与上下文学习，消歧任务上的因果消融此前未被系统做过。 把目标头的查询和键矩阵置零或回退到第1步参数后，14M的ΔR²显著增大、R²保留比例显著下降，效应集中在第3层；410M的效应在跨层平均上存在但很小，且在最优的第24层上不出现，到训练末期与对照头消融已无法区分。
启示与展望
这项工作考察的是Pythia系列在预训练检查点上的英语名词消歧，刺激来自RAW-C的504个最小句对，其中318个义项为多义、186个为同形异义；因果消融只在14M和410M上执行，功能评估也只针对原始RAW-C句对。作者提出，后续可以收集修改后刺激的人类判断，把完整分析扩展到14M和410M之外的其他大模型或其他有公开检查点的模型家族，并考察其他语言中的歧义数据。
作者指出，14M中候选头的行为无法跨句式框架和词性泛化，因此它们未必是通用的消歧头，可能只参与名词消歧；410M中单个头消融的效应很小，可能与头之间的功能重叠有关。九个随机种子的复现显示，消歧表现的发展轨迹高度一致，但承载关键头的层在种子间呈双峰分布，约一半落在第3层、一半落在第4层。作者也说明，这些头究竟是对歧义词特别敏感，还是参与任何目标词的语境化，仍待检验。