跳到主要内容
检索

# 全局上下文引导

1 篇关联报道

订阅更新
  1. arXiv

    扩散语言模型引导不再多跑一遍前向:GCG只改注意力头特征,LLaDA-8B的Ruler从26.2升到29.5

    扩散语言模型靠迭代去噪并行生成文本,但已有引导方法要额外构造一个弱模型,每个去噪步多一次前向,推理成本翻倍。GCG先分析发现这类模型在去噪时更依赖局部上下文、常低估远处证据,于是直接在特征空间放大负责全局上下文的注意力头输出,不建弱模型。在LLaDA-8B、Dream-7B和LLaDA-1.5上,GCG在多个基准上优于U-CFG和A-CFG,且LLaDA-8B的FLOPs与未引导基线相同。

已读完全部报道