扩散语言模型不再一锤定音：回头重开置信度下滑的词，平均准确率涨0.85到1.44个百分点
核心概要
掩码扩散语言模型逐块解码时，先提交的词通常不再改动，早期在稀疏上下文下做出的选择会一直保留。CoDR把每个已提交词在提交时的置信度与更密上下文下的置信度作比较，只把置信度下降超过阈值的词重新掩码并交给原采样器重填，用k路划分探测把全部已提交位置的漂移估计压缩到k次前向。在LLaDA-8B与Dream-7B、三个基础采样器和四个推理与代码任务上，加入CoDR后各模型–采样器组合的四任务平均准确率均提高，LLaDA上top1、fd、eb分别提高0.85、1.06、1.44个百分点。
深度剖析
掩码扩散语言模型的解码不再把每个已提交的词当作最终答案，模型可以在更完整的上下文出现后回头修改自己先前的选择。 此前的采样器主要决定何时提交一个词，提交之后通常保持固定，于是稀疏上下文下做出的早期错误会继续影响后续预测。 在LLaDA-8B与Dream-7B两个骨干、top1、Fast-dLLM与EB-Sampler三个基础采样器、HumanEval、MBPP、MATH-500与GSM8K四个零样本任务上，加入CoDR后所有被评估的模型–采样器组合四任务平均准确率都上升。
判断一个已提交词是否该重开，依据是它在提交时与在更密上下文下的置信度之差，而不是它当前的置信度高低。 已有重掩码方法会重新访问已提交位置，但没有直接测量同一个词的模型支持度随解码推进如何变化。 在LLaDA-8B的Fast-dLLM设置下，以置信度漂移为触发条件在HumanEval与GSM8K上分别达到43.90%与77.40%，高于随机重掩码、按当前置信度取最低的bottom-m选择以及top1_change触发。
漂移估计不需要为每个已提交位置各跑一次前向，按步长k把已提交集合分成k个余数类、每类整体掩码后一次前向即可同时给出该类所有位置的漂移。 精确计算每个位置的后期置信度需要与已提交位置数相同次数的前向，这样的开销对生成过程不可接受。 默认取k=2，即按奇偶下标分成两类；在相同k下，确定性步长划分比随机划分重掩码更少且准确率更高，k=2时HumanEval为43.90%对43.53%，GSM8K为77.40%对76.40%。
额外算力本身不是准确率提升的来源，把算力用在被漂移标记出的位置上才带来提升。 扫描Fast-dLLM的阈值与EB-Sampler的界，增加基础采样器的前向次数并不能提高其最好成绩。 在LLaDA-8B上，fd+CoDR把HumanEval从42.68%提到43.90%、GSM8K从76.00%提到77.80%；fd+CoDR以123次前向取得48.93%的四任务平均准确率，高于ReMDM的48.44%平均准确率而其设置为512次前向。
启示与展望
演示范围是LLaDA-8B-Instruct与Dream-v0-Instruct-7B两个开源掩码扩散模型，在HumanEval、MBPP、MATH-500、GSM8K四个零样本基准上以Pass@1评测，生成长度256、块长32、k=2、漂移阈值0；作者另在BBH与GPQA上报告了LLaDA的结果。方法要求基础采样器暴露提交时概率并支持掩码重填。
作者指出CoDR的效果依赖用于重填的基础采样器，修订后词的质量仍受同一个模型与采样器限制，重填偶尔会引入新的局部错误，在算术密集的情形尤其明显；置信度漂移被定位为有针对性的修订信号而非完整的错误检测器。在生成长度128时增益较小且MATH-500出现回退，说明平均提升并不等于每个任务都提升。KV缓存目前只加速初始采样，因为重掩码会使探测与重填所需的缓存状态失效。