Yaoxiang Wang

潜空间专家网络把专家输入维度从残差宽度中解耦，使专家形状成为可调设计量；在3.4B与8B规模上，近方形专家配合按逐层内在维度分配容量，取得比同预算均匀配置更低的验证损失。

潜空间专家网络把专家输入维度从残差宽度中解耦，使专家形状成为可调设计量；在3.4B与8B规模上，近方形专家配合按逐层内在维度分配容量，取得比同预算均匀配置更低的验证损失。