专家形状不再由路由粒度决定：近方形配置加逐层容量分配，8B模型九项下游平均分最高

潜空间专家网络把专家计算搬到低维潜空间，专家输入维度因此不再等于残差流宽度，专家形状第一次成为可以单独选择的设计量。 此前的细粒度专家网络在固定前馈预算下增加专家数量，只能把预算切成更小的单专家中间维度，宽高比成为路由粒度的副产品而非独立选择。 在3.4B与8B两个规模、两种路由粒度下做受控形状扫描，验证损失随宽高比呈U形，两端极不平衡的专家都变差，最优区域落在近方形附近。

单专家的局部雅可比秩同时受输入维度与中间宽度约束，在单专家参数量固定时两者相等可使秩上限最大。 此前选择潜空间压缩倍数只凭经验，没有给出联合选择潜维度和专家中间维度的一般原则。 在27个扫描检查点上，专家权重与路由输出基本满秩，训练后的局部雅可比秩达到0.909至1.000，说明该上限在训练模型中被实际逼近而非空泛。

按逐层内在维度排序分配单专家容量，可以在每层参数量、激活浮点运算和通信量几乎不变的前提下，让高内在维度层获得更大容量。 此前的异构设计只改专家数量或前馈宽度，造成逐层计算与通信失衡，给流水线切分和专家并行内核带来系统优化困难。 3.4B与8B上，内在维度引导的分配在三次运行中取得最高平均分，优于两个均匀潜空间专家基线和未压缩基线；交换两个区段的对照在两种规模上验证损失都变差。

报道覆盖3.4B-A250M与8B-A560M两个规模、20B与40B token的预训练，以及OLMES core_9mcqa九项下游评测。逐层分配采用两段式实现，按内在维度剖面的序关系切分浅层与深层，而非为每层单独标定配置。近方形规则允许约30%的宽高比偏差，以对齐逐层计算与通信并满足分组矩阵乘和专家并行的整除要求。读者若关心更大规模或通信受限场景，可关注原文提出的从表示几何到逐层容量的更细粒度映射这一延伸方向。

秩上限只是单专家层面的容量代理，内在维度只是序数性的分配信号，两者都不构成完整的性能模型。宽高比互为转置、秩上限相同的形状并不总是等价，形状朝向、优化以及与共享通路的交互仍会影响结果。均匀形状模型在固定秩上限下仍表现出与内在维度剖面一致的逐层实际秩变化，说明可用上限与实际使用是两件事。两段式分配是出于内核与配置复杂度的实现选择，而非分配规则本身的限制。