Mingzi Cao

把稠密Transformer层扩展成稀疏专家混合模型，让法律与生物医学各自拥有完整MLP专家，并用少量样本监督路由器按领域选择专家。在Llama-3.1-8B与Qwen-3-8B上，该方法在生物医学与法律领域的平均成绩均为最高，通用领域平均分也最高；每领域仅用256个样本监督路由器，适配后专业领域路由准确率为90–98%，未采用该监督的路由器为43–70%。

把稠密Transformer层扩展成稀疏专家混合模型，让法律与生物医学各自拥有完整MLP专家，并用少量样本监督路由器按领域选择专家。在Llama-3.1-8B与Qwen-3-8B上，该方法在生物医学与法律领域的平均成绩均为最高，通用领域平均分也最高；每领域仅用256个样本监督路由器，适配后专业领域路由准确率为90–98%，未采用该监督的路由器为43–70%。