# 专家专业化分析

字节跳动Seed与上海财经大学的研究者在Qwen3-30B-A3B的第4、30、46层MoE输出上各训练一个稀疏自编码器（SAE，把层输出重建为一组稀疏可解释特征的字典），利用编码器对专家输出的仿射性，把每个特征的激活精确拆成各专家的贡献。按语料平均后，每个专家得到一组它主要驱动的特征；这些特征多数只有一到两个主导专家，且专家分工细到Java与前端网页代码、几何与算术多项式这样的子领域。

字节跳动Seed与上海财经大学的研究者在Qwen3-30B-A3B的第4、30、46层MoE输出上各训练一个稀疏自编码器（SAE，把层输出重建为一组稀疏可解释特征的字典），利用编码器对专家输出的仿射性，把每个特征的激活精确拆成各专家的贡献。按语料平均后，每个专家得到一组它主要驱动的特征；这些特征多数只有一到两个主导专家，且专家分工细到Java与前端网页代码、几何与算术多项式这样的子领域。