# E-MoE增强混合专家

该工作提出 E-MoE，把混合专家骨干的专家路由决策当作离散共享隐变量，使掩码扩散模型的反向过程成为因子化分布的混合，在不增加每 token 激活参数的前提下改善少步生成：在合成二维分布、二值化 MNIST 和 LM1B 上均优于因子化基线，LM1B 在 NFE=1 时生成困惑度由 MDLM 的 1433.8 降至 643.8。

该工作提出 E-MoE，把混合专家骨干的专家路由决策当作离散共享隐变量，使掩码扩散模型的反向过程成为因子化分布的混合，在不增加每 token 激活参数的前提下改善少步生成：在合成二维分布、二值化 MNIST 和 LM1B 上均优于因子化基线，LM1B 在 NFE=1 时生成困惑度由 MDLM 的 1433.8 降至 643.8。