低资源语言不再被专家池挤掉：给路由加一个类别偏置，推理时还能撤掉
核心概要
COAX 在预训练时按数据类别给指定专家子集加正向路由偏置，让占比很小的语言、模态或领域也能分到更大的专家份额，在 345M 到 10.6B 的 MoE 上低资源类别损失普遍下降，而推理仍走标准 top-k 路由。
深度剖析
混合专家模型里，每个类别可以预先指定一块专家子集，训练时把该类别的 token 往这块子集上引，低资源类别因此拿到比它在数据中占比更大的专家容量。 此前要让专家按类别分工，要么给每个领域配专属专家，要么用目标函数把不同类别的路由分布推开；这些做法没有证明类别分工能真正帮到数据稀缺的类别。 在 86.42% 英语、10% 韩语、2.73% 乌尔都语、0.85% 斯瓦希里语的混合上，收益随语言数据占比下降而变大：韩语改善有限，乌尔都语更稳定，斯瓦希里语在每个模型尺度上都显著改善。
做法是复用原本用于负载均衡的逐专家路由偏置，但把偏置的依据从专家是否被冷落换成 token 属于哪个类别。 负载均衡偏置按专家利用率动态调整，目的是让专家使用更均匀；COAX 按类别固定地给指定专家子集加同一个正偏置，把“偏好专家份额”变成一个可以显式设定的训练期控制量。 偏置只作用于 top-k 选择，选中之后仍用未加偏置的原始路由分数加权，所以它是软先验而非硬划分；在 345M-A147M、3B-A654M、10.6B-A1.2B 三个尺度、多语言与多模态混合上做了验证。
推理时把类别偏置去掉，模型退回标准 top-k MoE，不需要类别标签，也不需要改动推理栈。 训练期带偏置、推理期不带偏置会形成训练-测试不匹配，偏置强度过大时这种不匹配会变得有害。 去掉推理偏置仍保留大部分收益；把偏置在冷却阶段线性退火到零，可以拿回大部分少数语言改善，但英语仍会退化，说明主导语言的取舍没有被完全消除。
启示与展望
这套方法在 345M-A147M、3B-A654M、10.6B-A1.2B 三个尺度的多语言、多模态和多领域混合上做了验证，训练数据为 10B token，评测以留出损失为主，多模态部分另有 ASR 与描述任务的 top-k 准确率作为支撑。它面向的是预训练阶段控制专家容量分配的模型开发者，推理侧保持标准 top-k MoE，不需要类别标签。原文提出的后续方向是把人工指定的类别换成学到的结构，并探索与专家并行拓扑对齐的偏置方式。
偏置强度增大时，训练期带偏置、推理期不带偏置的不匹配会越来越有害，退火到零只能拿回大部分少数语言改善，英语仍会退化。多语言评测以留出损失为主，因为该训练规模下标准下游基准分辨不出差异，MultiBLiMP 的差异小而方向不一致，Belebele 接近随机水平，SIB-200 两个模型准确率相同。自由生成尚未训练充分，贪心 ASR 的词错误率偏高、描述任务的 CIDEr-D 接近零，因此任务级结论只在教师强制设定下成立。持续预训练中，COAX 对代码和视觉有效，对新引入的俄语和印地语则略低于普通持续预训练。