# 词义消歧

在Pythia语言模型的预训练过程中，词义消歧能力在约1000到2000步出现明显跃升，14M中两个第3层注意力头与这一跃升同步变化，消融它们会显著削弱消歧表现，而410M中承担该功能的头更多、对位置和词性扰动更稳健。

在Pythia语言模型的预训练过程中，词义消歧能力在约1000到2000步出现明显跃升，14M中两个第3层注意力头与这一跃升同步变化，消融它们会显著削弱消歧表现，而410M中承担该功能的头更多、对位置和词性扰动更稳健。

该研究提出一种面向无监督词义消歧的上下文感知语义相似度（CASS）方法：给定目标词、其上下文与排除表，把上下文与「用某个候选同义词替换目标词后的上下文」分别编码为向量，选取使余弦相似度最大、即语义改变最小的候选同义词作为词义判定，并在由维基百科构建、仅含名词、覆盖20个词、共10,196个实例的CoarseWSD-20基准上以准确率与随机选项基线（43.73%）和最频繁词义基线（73.43%）比较；基于BERT嵌入的配置取得最高77.74%（7,927次命中），是唯一超过强基线的配置，USE（71.94%）、ELMo（68.75%）与WMD（60.00%）均超过弱基线但未超过强基线。

该研究提出一种面向无监督词义消歧的上下文感知语义相似度（CASS）方法：给定目标词、其上下文与排除表，把上下文与「用某个候选同义词替换目标词后的上下文」分别编码为向量，选取使余弦相似度最大、即语义改变最小的候选同义词作为词义判定，并在由维基百科构建、仅含名词、覆盖20个词、共10,196个实例的CoarseWSD-20基准上以准确率与随机选项基线（43.73%）和最频繁词义基线（73.43%）比较；基于BERT嵌入的配置取得最高77.74%（7,927次命中），是唯一超过强基线的配置，USE（71.94%）、ELMo（68.75%）与WMD（60.00%）均超过弱基线但未超过强基线。