arXiv 2026年10月6日该工作提出一种扩散语言模型后训练方法，在冻结预训练扩散语言模型的上下文词元特征空间中最小化生成分布与参考分布之间的最大均值差异（MMD），对离散模型用REINFORCE加留一基线优化、对连续模型直接对生成隐变量求导，从而无需完整采样轨迹或联合训练的辅助模型；在OpenWebText上于同等熵下取得更低生成困惑度，在GSM8K上改善精度—计算权衡，并在16B DMax-LLaDA2.0混合掩码—均匀扩散模型上以相近或更高精度提升解码并行度。该工作提出一种扩散语言模型后训练方法，在冻结预训练扩散语言模型的上下文词元特征空间中最小化生成分布与参考分布之间的最大均值差异（MMD），对离散模型用REINFORCE加留一基线优化、对连续模型直接对生成隐变量求导，从而无需完整采样轨迹或联合训练的辅助模型；在OpenWebText上于同等熵下取得更低生成困惑度，在GSM8K上改善精度—计算权衡，并在16B DMax-LLaDA2.0混合掩码—均匀扩散模型上以相近或更高精度提升解码并行度。冻结扩散语言模型特征空间中的MMD后训练：MDLM-MMD与ELF-MMD在同等熵下降低生成困惑度，16B DMax在数学与代码基准上提高解码并行度该工作提出一种扩散语言模型后训练方法，在冻结预训练扩散语言模型的上下文词元特征空间中最小化生成分布与参考分布之间的最大均值差异（MMD），对离散模型用REINFORCE加留一基线优化、对连续模型直接对生成隐变量求导，从而无需完整采样轨迹或联合训练的辅助模型；在OpenWebText上于同等熵下取得更低生成困惑度，在GSM8K上改善精度—计算权衡，并在16B DMax-LLaDA2.0混合掩码—均匀扩散模型上以相近或更高精度提升解码并行度。该工作提出一种扩散语言模型后训练方法，在冻结预训练扩散语言模型的上下文词元特征空间中最小化生成分布与参考分布之间的最大均值差异（MMD），对离散模型用REINFORCE加留一基线优化、对连续模型直接对生成隐变量求导，从而无需完整采样轨迹或联合训练的辅助模型；在OpenWebText上于同等熵下取得更低生成困惑度，在GSM8K上改善精度—计算权衡，并在16B DMax-LLaDA2.0混合掩码—均匀扩散模型上以相近或更高精度提升解码并行度。