掩码扩散模型后训练不再随机抽块：全块估计器让每块只算一次，五个基准中四个准确率最高
掩码扩散语言模型的后训练依赖对分块代理目标的蒙特卡洛估计，而原有做法随机抽取块索引，同一块可能被重复计算、另一些块从未被评估。全块估计器改为让每个块恰好评估一次再取平均，理论分析表明它保持无偏并消除块选择带来的组间方差；在数学、规划和编码五个基准上，它在四个基准上取得最高准确率，相对随机块采样基线平均高出12.79分。
扩散语言模型不再一锤定音：回头重开置信度下滑的词，平均准确率涨0.85到1.44个百分点
掩码扩散语言模型逐块解码时，先提交的词通常不再改动，早期在稀疏上下文下做出的选择会一直保留。CoDR把每个已提交词在提交时的置信度与更密上下文下的置信度作比较，只把置信度下降超过阈值的词重新掩码并交给原采样器重填，用k路划分探测把全部已提交位置的漂移估计压缩到k次前向。在LLaDA-8B与Dream-7B、三个基础采样器和四个推理与代码任务上，加入CoDR后各模型–采样器组合的四任务平均准确率均提高，LLaDA上top1、fd、eb分别提高0.85、1.06、1.44个百分点。
掩码扩散模型不再只靠序列长度算样本量：隐结构决定训练样本，树混合下多项式即可
基于Transformer的掩码扩散模型首次获得端到端统计保证：当数据分布可由隐马尔可夫树混合近似时，达到KL精度所需的训练样本量由隐结构复杂度决定，而非随序列空间规模指数增长。分析同时覆盖并行采样带来的并行化误差与有限样本下掩码预测器的估计误差，且Transformer架构与采样过程无需知道树拓扑或分量参数，能自动适应未知隐结构。
E-MoE 用专家路由当离散隐变量，把 LM1B 一步生成困惑度从 1433.8 降到 643.8
该工作提出 E-MoE，把混合专家骨干的专家路由决策当作离散共享隐变量，使掩码扩散模型的反向过程成为因子化分布的混合，在不增加每 token 激活参数的前提下改善少步生成：在合成二维分布、二值化 MNIST 和 LM1B 上均优于因子化基线，LM1B 在 NFE=1 时生成困惑度由 MDLM 的 1433.8 降至 643.8。
把掩码扩散解码拆成五个轴后，研究者发现状态自适应只在少数可预测状态上值得做，选择性干预让三个模型的整任务宏平均效用分别提升3.2、4.0和5.6个百分点
该工作把掩码扩散语言模型的解码策略拆成 score、cardinality、region、commitment、planning 五个轴，用“策略反转”定义自适应机会（最优候选动作相对验证集选出的固定动作的一步效用优势），在三个模型（LLaDA-8B-Instruct、LLaDA-1.5、Dream-7B）和十个任务上发现自适应机会高度异质，并据此提出选择性自适应：用验证提示校准的轻量检测器识别高机会状态，例如在 LLaDA-8B 的 Constrained JSON Fill 上只对排名前 10% 的状态做 region 自适应即可捕获 56.9% 的候选集 oracle 机会，端到端选择性解码把任务宏平均效用从 0.392
已读完全部报道