MoE专家不再按领域标签归类：SAE把贡献拆到特征层，Java与前端各占专家
核心概要
字节跳动Seed与上海财经大学的研究者在Qwen3-30B-A3B的第4、30、46层MoE输出上各训练一个稀疏自编码器（SAE，把层输出重建为一组稀疏可解释特征的字典），利用编码器对专家输出的仿射性，把每个特征的激活精确拆成各专家的贡献。按语料平均后，每个专家得到一组它主要驱动的特征；这些特征多数只有一到两个主导专家，且专家分工细到Java与前端网页代码、几何与算术多项式这样的子领域。
深度剖析
研究专家分工的观察单位从人工设定的领域标签换成模型自己学出的稀疏特征，专家被描述为它主要驱动的那组特征。 此前的做法是在带领域标签的语料上统计专家被选中的频率，分类体系由分析者预先给定，粒度粗，且只记录被选中、不记录实际贡献。 在Qwen3-30B-A3B第4、30、46层上，每个专家都主导一个非空特征集合，且每个专家集合中平均有46%到59%的特征只由该专家主导。
按贡献排序后，单个特征的激活高度集中在少数专家身上，而不是平摊给路由器选中的8个专家。 门控权重本身也不均匀，因此需要排除“贡献的不均匀只是门控不均匀的投影”这一解释。 以第30层为例，按秩平均的前三个门控权重为0.231、0.169、0.137，而前三个贡献值为0.512、0.185、0.115；第4、30、46层平均每个（前缀、激活特征）对中分别只有2.09、1.29、1.64个专家被截断，说明ReLU不是陡峭的主要来源。
专家分工落在比“代码”“数学”这类粗领域更细的层次上，同一粗领域内部由近乎不相交的专家分担。 既有分析只问专家是否对齐代码、数学等预先设定的领域，无法看到领域内部的划分。 第30层中，专家50的主导特征解释有86.7%被判为Java开发，专家57有78.6%被判为前端开发，专家1有78.1%被判为几何，专家76有59.1%被判为算术与多项式；同一主题在其余127个专家主导集合的随机样本中只占1.9%到6.7%。
启示与展望
分析覆盖Qwen3-30B-A3B的第4、30、46层，每层128个专家、每token激活8个，每层单独训练一个含220个特征的SAE，统计在1.5B token、与SAE训练集同分布且不重叠的验证集上完成；专家标签与领域划分由GPT-5.5从特征解释生成。
作者指出分析继承了SAE的重建误差与特征分裂、吸收问题；Qwen3的预训练数据配比未公开，统计是在自选语料上做的，因此第5.3节把专家分配与训练数据中领域比例联系起来的读法仍是推测；结果只来自一个模型，作者提出扩展到更多、更大的MoE模型才能判断哪些观察是普遍的。