掩码扩散模型后训练不再随机抽块：全块估计器让每块只算一次，五个基准中四个准确率最高
核心概要
掩码扩散语言模型的后训练依赖对分块代理目标的蒙特卡洛估计，而原有做法随机抽取块索引，同一块可能被重复计算、另一些块从未被评估。全块估计器改为让每个块恰好评估一次再取平均，理论分析表明它保持无偏并消除块选择带来的组间方差；在数学、规划和编码五个基准上，它在四个基准上取得最高准确率，相对随机块采样基线平均高出12.79分。
深度剖析
掩码扩散语言模型的后训练中，分块代理目标的蒙特卡洛估计改为覆盖全部块，每个块恰好评估一次后取平均，不再随机抽取块索引。 此前的估计方案随机采样块索引，因此可能把同一个块评估多次，同时留下一些块完全未被评估，块选择本身给估计带来方差。 在块数C=4、采样数K=4的模拟中，8次独立试验里每次至少有一个块未被选中；按推导，K=C=4时至少一个块从未被选中的概率约为0.91。
这一改动只替换估计器，分块代理目标本身保持不变，因此可以直接接入现有的掩码扩散模型后训练流程。 已有工作分别从策略优化规则、代理目标设计以及似然近似的偏差与方差控制入手，估计器本身的设计此前未被单独考察。 实验以LLaDA-8B-Instruct为基座模型，用QLoRA微调，在GSM8K、MATH-500、Countdown、Sudoku和HumanEval五个基准上训练4000步，所有对比方法共用同一套超参数。
在五个基准上，全块估计器在四个基准上取得最高准确率，相对随机块采样基线平均提升12.79分。 与随机块采样基线相比，全块估计器在全部五个基准上都更好；与最强基线SPG相比，五基准简单平均高出5.05分。 具体数值为GSM8K 82.26、MATH-500 38.00、Sudoku 91.39、HumanEval 36.59；在Countdown上为66.41，比随机块采样高22.27分，但低于SPG的70.31。
估计质量的提升在估计器层面可以直接测量：在GSM8K上，K=4的全块估计器与参考值的秩相关为0.878、均方根误差为50.1。 同样K=4的随机块采样秩相关为0.602、均方根误差为136.0，全块估计器的精度大致相当于随机块采样用到约32个样本时的水平。 方差比在五个数据集上介于0.08到0.12之间，说明全块估计器的方差约为随机块采样的十分之一；但策略梯度层面的方差比在0.79到0.96之间。
启示与展望
实验以LLaDA-8B-Instruct为基座模型，用QLoRA微调4000步，覆盖数学、规划和编码三类任务共五个基准，块数取C=4，并在C=8时对GSM8K与MATH-500做了补充验证。评估只使用各方法的最终检查点，未比较中间检查点的准确率。
作者指出，估计器层面的方差降低并未同等传递到策略梯度层面，策略梯度方差比在0.79到0.96之间，因此准确率提升不一定来自梯度方差下降；全块估计器在每一步都向每个块提供学习信号，这两个因素各自贡献多少尚未拆分。作者还说明，受计算资源限制未增加训练步数或GRPO组大小，未验证与PPO、DPO等其他策略优化方法的组合，也未确认在开放式自然语言生成和摘要等任务上的效果；全块并行评估的显存占用随块数线性增长，扩展到连续或高维随机变量需要近似处理。