连续扩散语言模型漏掉生僻词：GRAFT不改权重，把ELF-B稀有词份额从人类速率的0.42倍拉到0.82倍
核心概要
连续扩散语言模型并行生成整句，中间不逐词抽样，代价是词表长尾塌缩：ELF在常见词上几乎与人类文本持平，最稀有词却只到人类速率的一小部分，且从1.05亿到6.52亿参数、各种采样器设置都补不回来。GRAFT在推理阶段读取解码头，把即将被平均值淹没的稀有词固定下来，再从噪声重新生成，在三个ELF规模和独立实现的LangFlow上把稀有词份额从人类速率的0.42–0.77倍提高到0.82–1.25倍，代价是非词比例在部分模型上小幅上升。
深度剖析
连续扩散语言模型在常见词上与人类文本几乎一致，稀有词却明显缺失，这一缺口在模型变大和采样器调参后依然存在。 同一规模的GPT-2仅靠解码规则就能把稀有词份额从零推到高于人类速率，而ELF在步数、引导、温度和模型规模的完整扫描中始终达不到人类速率。 在ELF训练分布的同分布人类文本上，ELF-B的稀有词份额为5.01%，人类为11.88%；从1.05亿到6.52亿参数，缺口没有闭合。
缺失发生在去噪头内部：它以回归方式预测候选词的平均嵌入，稀有词与更强的常见竞争者竞争时被平均掉。 解码头本身并不偏向常见词，把真实人类文本的嵌入直接送入解码头，它能恢复几乎全部原始词。 在ELF-B上，去噪头在最稀有词上的错误率高于解码头，而在常见词上两者相当；稀有位置中，最强竞争者概率最低十分位的丢失率远低于最高十分位。
GRAFT不改动任何权重，在生成中途读取一次解码头，把仍有较高概率但正在输给常见词的稀有词固定，再从同一噪声重新生成。 此前的连续扩散模型没有在最终步之前把分布变成离散词选择的接口，因此温度缩放、采样和束搜索都无法找回丢失的长尾。 在ELF-B上，稀有词份额从5.01%升到9.76%（人类速率的0.82倍），非词比例从2.64%降到2.57%；在LangFlow上调剂量后达到12.23%，为人类速率的1.03倍。
增益来自被固定的那个稀有词本身，而不是来自重启或额外算力。 与GRAFT共享位置、机制、剂量和算力的argmax对照在每一列上都不显著，ELF-B上稀有词份额只从5.01%动到5.31%。 在同等算力下，四次采样的best-of-4在ELF-B上只到5.97%，而GRAFT到9.76%；在LangFlow上，stock采样要到best-of-16才追平。
启示与展望
验证范围是无条件生成，模型为冻结的ELF-B/M/L（1.05亿、3.42亿、6.52亿参数）和LangFlow（6.52亿参数），人类参照取自OpenWebText同一分片；翻译因可从源文复制稀有词而基本不受影响，摘要任务在默认选择阈值下几乎不变。
作者报告没有系统能弥合与人类非词率的差距（2.57%–3.79% 对 1.14%），LangFlow上调剂量后稀有词份额为人类速率的1.03倍但非词率升到3.79%；ELF-L的JSD改善落在种子间波动范围内；MAUVE随剂量单调下降，作者未做大规模人类偏好评测。