扩散语言模型引导不再多跑一遍前向：GCG只改注意力头特征，LLaDA-8B的Ruler从26.2升到29.5
核心概要
扩散语言模型靠迭代去噪并行生成文本，但已有引导方法要额外构造一个弱模型，每个去噪步多一次前向，推理成本翻倍。GCG先分析发现这类模型在去噪时更依赖局部上下文、常低估远处证据，于是直接在特征空间放大负责全局上下文的注意力头输出，不建弱模型。在LLaDA-8B、Dream-7B和LLaDA-1.5上，GCG在多个基准上优于U-CFG和A-CFG，且LLaDA-8B的FLOPs与未引导基线相同。
深度剖析
扩散语言模型做引导时不必再额外跑一个弱模型：GCG在单次前向内修改注意力头特征，就能提升对全局上下文的利用。 此前的U-CFG和A-CFG通过替换提示词或重掩码低置信token构造弱模型，每个去噪步需要基模型和弱模型两次前向，推理成本翻倍。 在LLaDA-8B上，GCG把GSM8K-CoT从46.7提到48.4、Ruler从26.2提到29.5，而FLOPs为15.9T，与未引导基线相同；U-CFG和A-CFG的FLOPs为31.8T。
做法是先找出哪些注意力头在拉取远处证据，再把这些头的输出中与局部头重合的部分减掉、放大剩余部分。 全局头与局部头按注意力分布质心排序选出，质心是注意力权重加权的查询与键平均距离，越大表示越关注远处位置。 头与目标块用LongBench的63个校准样本一次性选定，之后在所有评测基准上固定；在LLaDA-8B上，把全局头输出投影到局部头张成的子空间并放大残差，额外开销约为0.003% FLOPs。
引导方向选对了才有效：把同样的操作反过来加强局部上下文，或施加在对全局上下文不敏感的块上，效果都更差。 局部上下文引导LCG和最小敏感块LSB是GCG的两个对照变体，分别反转引导方向和更换目标块。 在LLaDA-8B上，LCG的GSM8K-CoT为47.6、Ruler为26.0，LSB的Ruler为23.4，均低于GCG的48.4和29.5；在Dream-7B和LLaDA-1.5上趋势相同。
启示与展望
评测覆盖LLaDA-8B、Dream-7B和LLaDA-1.5三个扩散语言模型，任务包括ARC、PIQA、HumanEval、MBPP、GSM8K-CoT、Ruler和MiniLongBench；全局头与目标块需针对每个模型单独选定一次，实验中在8块NVIDIA A6000上约需2至3小时。
作者指出，选取全局头、局部头和目标块需要单独的校准过程，每个模型约2至3小时，改进这一流程可提升实用性，尤其对更大的扩散语言模型；作者也说明GCG作用于现有模型，可能继承其偏见、隐私风险与幻觉等局限。