多领域微调不再互相拖累：路由器只看256个样本，专家选择准确率升到90–98%
核心概要
把稠密Transformer层扩展成稀疏专家混合模型，让法律与生物医学各自拥有完整MLP专家，并用少量样本监督路由器按领域选择专家。在Llama-3.1-8B与Qwen-3-8B上，该方法在生物医学与法律领域的平均成绩均为最高，通用领域平均分也最高；每领域仅用256个样本监督路由器，适配后专业领域路由准确率为90–98%，未采用该监督的路由器为43–70%。
深度剖析
多领域适配不再让所有领域共用同一组低秩适配器，而是把稠密Transformer层扩展成稀疏专家混合层，为每个专业领域配一个完整MLP专家，并保留原MLP作为通用专家。 此前的做法要么对每个领域训练一个LoRA适配器再等权合并，要么用路由器动态加权但仍激活全部适配器，包括与输入无关的那些；低秩结构本身也限制了适配容量。 在Llama-3.1-8B与Qwen-3-8B两个模型家族上，该方法取得最高的生物医学平均分（Llama 68.42、Qwen 73.34）与法律平均分（Llama 68.96、Qwen 72.15），并显著优于各自第二好的基线（配对t检验）；通用领域平均分同样最高（Llama 68.82、Qwen 70.08）。
路由器先学会分辨输入属于哪个领域，再进入各领域的适配训练，因此专业输入不会误用无关专家，通用输入则优先走原MLP。 此前的上采样方法随机初始化路由器，仅靠领域数据训练无法可靠选出对应专家；适配后随机初始化路由器在Llama上对通用输入的准确率升到99.62%，而对法律和生物医学输入分别降到51.00%和42.69%。 在每领域256个随机抽取样本上提取隐状态训练路由器，另取128个不重叠样本测量路由准确率；适配后该方法在专业领域为90–98%，未采用该监督的路由器为43–70%。
每个领域的适配只更新对应专家和路由器，其余参数冻结，使初始完全相同的专家在训练后走向不同方向。 复制稠密MLP初始化专家的上采样基线在适配后，生物医学与法律专家的参数更新余弦相似度仍高达36.83%（Llama）和31.06%（Qwen），说明两个专家学到的方向接近。 该方法从同样的复制权重出发，把更新限制在对应领域后，两个专家更新的余弦相似度降到0.59%（Llama）和0.76%（Qwen），与随机扰动、部分重初始化等基线相当。
启示与展望
演示范围是Llama-3.1-8B与Qwen-3-8B上的英语法律与生物医学两个专业领域，加上一组通用基准；每个领域用393K训练样本，路由器监督每领域仅用256个样本。读者若是要在单卡上同时服务多个专业领域的工程师，可据此判断该方法是否匹配自己的领域数量与显存预算。
推理计算与延迟受稀疏Top-2激活约束，但显存中保存的静态参数总量随实例化领域数线性增长；作者把与适配后专家量化或剪枝结合列为后续方向。消融中唯一未提升的设置是Qwen-3-8B的生物医学平均分，从73.46略降到73.34。