Ran Cheng

该工作提出 IntBMoE，一种块级条件化的混合专家架构：用小型可学习码本定义若干可复用的多层块，由共享超网络把每层全部专家基合并成组合专家，再用路由器为每个 token 只选择少数块执行，从而在保持全池参与的同时维持稀疏执行与有界参数物化，并在 ImageNet-1K 图像分类上取得 73.76% Top-1、91.48% Top-5，在 MiniPile 语言建模与 IntTravel 序列推荐上同样优于所比较的稀疏与稠密 MoE 基线，且已在 AMap 生成式推荐系统中全量部署，在线 A/B 测试获得 2.4% 的相对 UVCTR 提升。

该工作提出 IntBMoE，一种块级条件化的混合专家架构：用小型可学习码本定义若干可复用的多层块，由共享超网络把每层全部专家基合并成组合专家，再用路由器为每个 token 只选择少数块执行，从而在保持全池参与的同时维持稀疏执行与有界参数物化，并在 ImageNet-1K 图像分类上取得 73.76% Top-1、91.48% Top-5，在 MiniPile 语言建模与 IntTravel 序列推荐上同样优于所比较的稀疏与稠密 MoE 基线，且已在 AMap 生成式推荐系统中全量部署，在线 A/B 测试获得 2.4% 的相对 UVCTR 提升。