连续扩散语言模型并行生成整句，中间不逐词抽样，代价是词表长尾塌缩：ELF在常见词上几乎与人类文本持平，最稀有词却只到人类速率的一小部分，且从1.05亿到6.52亿参数、各种采样器设置都补不回来。GRAFT在推理阶段读取解码头，把即将被平均值淹没的稀有词固定下来，再从噪声重新生成，在三个ELF规模和独立实现的LangFlow上把稀有词份额从人类速率的0.42–0.77倍提高到0.82–1.25倍，代价是非词比例在部分模型上小幅上升。
该工作将 Embedded Language Flows（ELF）扩展到数学推理与代码生成任务，提出 ELF-REG，用冻结的自回归教师模型监督中间去噪特征并提供与响应联合去噪的全局表示（REPA+REG），在 GSM8K、MATH-500、HumanEval、MBPP 上评估：ELF-REG-L 在 64 NFE 下 GSM8K pass@1 为 55.96%，在 128 NFE 下 MATH-500 为 13.39%、HumanEval 为 22.56%，在 GSM8K 与代码任务上超过所评估的同规模 dLM，并把 MATH-500 从 ELF-L 基线的 10.55% 提升到 13.39%；同一任务专用检查点无需少步训练即可通过 early-stop 在
已读完全部报道