# NESTOR架构

混合专家（MoE）Transformer 只在多层感知机上做条件计算，每个 token 仍要经过全部注意力参数。NESTOR 把同样的路由思路搬到注意力上：每个 token 先被分到若干“列”，每列有自己的注意力和专家，两层稀疏按层级嵌套。在 100M 到 1B 活跃参数的语言模型预训练中，达到相同留出损失时 MoE 需要 1.13–1.29 倍算力，稠密模型需要 3.1–4.1 倍，且这一倍数随规模增大没有缩小趋势。

混合专家（MoE）Transformer 只在多层感知机上做条件计算，每个 token 仍要经过全部注意力参数。NESTOR 把同样的路由思路搬到注意力上：每个 token 先被分到若干“列”，每列有自己的注意力和专家，两层稀疏按层级嵌套。在 100M 到 1B 活跃参数的语言模型预训练中，达到相同留出损失时 MoE 需要 1.13–1.29 倍算力，稠密模型需要 3.1–4.1 倍，且这一倍数随规模增大没有缩小趋势。