# Pythia 语言模型

在Pythia语言模型的预训练过程中，词义消歧能力在约1000到2000步出现明显跃升，14M中两个第3层注意力头与这一跃升同步变化，消融它们会显著削弱消歧表现，而410M中承担该功能的头更多、对位置和词性扰动更稳健。

在Pythia语言模型的预训练过程中，词义消歧能力在约1000到2000步出现明显跃升，14M中两个第3层注意力头与这一跃升同步变化，消融它们会显著削弱消歧表现，而410M中承担该功能的头更多、对位置和词性扰动更稳健。