# 文本生成

自回归语言模型通常按固定的从左到右顺序做下一词预测，Max(MI(S;t))改为在训练前按目标词与输入及已选目标的互信息排序，把信息量大的目标提前。在GPT式模型上，它在算术任务的平均准确率为94.96%，高于下一词预测的74.84%和逆序的86.29%，接近穷举24种顺序得到的97.33%上界；在WikiText-2上把平均困惑度从13.58降到10.77。方法只改训练目标的组织方式，模型结构与自回归解码不变。

自回归语言模型通常按固定的从左到右顺序做下一词预测，Max(MI(S;t))改为在训练前按目标词与输入及已选目标的互信息排序，把信息量大的目标提前。在GPT式模型上，它在算术任务的平均准确率为94.96%，高于下一词预测的74.84%和逆序的86.29%，接近穷举24种顺序得到的97.33%上界；在WikiText-2上把平均困惑度从13.58降到10.77。方法只改训练目标的组织方式，模型结构与自回归解码不变。

该工作提出 E-MoE，把混合专家骨干的专家路由决策当作离散共享隐变量，使掩码扩散模型的反向过程成为因子化分布的混合，在不增加每 token 激活参数的前提下改善少步生成：在合成二维分布、二值化 MNIST 和 LM1B 上均优于因子化基线，LM1B 在 NFE=1 时生成困惑度由 MDLM 的 1433.8 降至 643.8。

该工作提出 E-MoE，把混合专家骨干的专家路由决策当作离散共享隐变量，使掩码扩散模型的反向过程成为因子化分布的混合，在不增加每 token 激活参数的前提下改善少步生成：在合成二维分布、二值化 MNIST 和 LM1B 上均优于因子化基线，LM1B 在 NFE=1 时生成困惑度由 MDLM 的 1433.8 降至 643.8。