Klaus-Rudolf Kladny

该工作提出 AIR-MoE，一种基于向量量化的倒排索引式两阶段 MoE 路由架构：第一阶段用 VQ 码字对 token 做粗筛选构建候选专家集，第二阶段仅在候选集内计算精确路由分数，从而在避免全专家打分的同时近似真实 top-K 路由，且不对专家参数施加结构约束；作者还给出 AIR-MoE 质量召回的下界，并在多达百万以上微小专家的场景中相对现有 MoE 路由器改善困惑度-FLOPs 权衡、相对最佳基线取得一致的困惑度提升。

该工作提出 AIR-MoE，一种基于向量量化的倒排索引式两阶段 MoE 路由架构：第一阶段用 VQ 码字对 token 做粗筛选构建候选专家集，第二阶段仅在候选集内计算精确路由分数，从而在避免全专家打分的同时近似真实 top-K 路由，且不对专家参数施加结构约束；作者还给出 AIR-MoE 质量召回的下界，并在多达百万以上微小专家的场景中相对现有 MoE 路由器改善困惑度-FLOPs 权衡、相对最佳基线取得一致的困惑度提升。