扩散语言模型不再一锤定音:回头重开置信度下滑的词,平均准确率涨0.85到1.44个百分点
掩码扩散语言模型逐块解码时,先提交的词通常不再改动,早期在稀疏上下文下做出的选择会一直保留。CoDR把每个已提交词在提交时的置信度与更密上下文下的置信度作比较,只把置信度下降超过阈值的词重新掩码并交给原采样器重填,用k路划分探测把全部已提交位置的漂移估计压缩到k次前向。在LLaDA-8B与Dream-7B、三个基础采样器和四个推理与代码任务上,加入CoDR后各模型–采样器组合的四任务平均准确率均提高,LLaDA上top1、fd、eb分别提高0.85、1.06、1.44个百分点。