# 注意力头

扩散语言模型靠迭代去噪并行生成文本，但已有引导方法要额外构造一个弱模型，每个去噪步多一次前向，推理成本翻倍。GCG先分析发现这类模型在去噪时更依赖局部上下文、常低估远处证据，于是直接在特征空间放大负责全局上下文的注意力头输出，不建弱模型。在LLaDA-8B、Dream-7B和LLaDA-1.5上，GCG在多个基准上优于U-CFG和A-CFG，且LLaDA-8B的FLOPs与未引导基线相同。

扩散语言模型靠迭代去噪并行生成文本，但已有引导方法要额外构造一个弱模型，每个去噪步多一次前向，推理成本翻倍。GCG先分析发现这类模型在去噪时更依赖局部上下文、常低估远处证据，于是直接在特征空间放大负责全局上下文的注意力头输出，不建弱模型。在LLaDA-8B、Dream-7B和LLaDA-1.5上，GCG在多个基准上优于U-CFG和A-CFG，且LLaDA-8B的FLOPs与未引导基线相同。

在五个开放权重模型里，图事实不变、只换任务指令，同一批注意力头对下游的影响模式就重新分布；在Gemma-2-9B和Qwen3-14B中，改动一处早期内部激活向量就能让模型改读另一条事实，而书面指令和权重都不动。

在五个开放权重模型里，图事实不变、只换任务指令，同一批注意力头对下游的影响模式就重新分布；在Gemma-2-9B和Qwen3-14B中，改动一处早期内部激活向量就能让模型改读另一条事实，而书面指令和权重都不动。

在Pythia语言模型的预训练过程中，词义消歧能力在约1000到2000步出现明显跃升，14M中两个第3层注意力头与这一跃升同步变化，消融它们会显著削弱消歧表现，而410M中承担该功能的头更多、对位置和词性扰动更稳健。

在Pythia语言模型的预训练过程中，词义消歧能力在约1000到2000步出现明显跃升，14M中两个第3层注意力头与这一跃升同步变化，消融它们会显著削弱消歧表现，而410M中承担该功能的头更多、对位置和词性扰动更稳健。