专家负载不再只求全局平均：精确分位数加局部误差注入，最忙专家从6.4倍降到4.5倍
稀疏混合专家模型里，路由若偏爱少数专家，其余专家拿不到足够训练信号，专家并行时还会让设备互相等待。Kolibri 预训练采用精确分位数均衡（EQB）与有界负载误差注入（LEI）：前者用两趟基数选择在全批次上精确求出路由偏置，后者把每个微批次的负载误差直接注入路由梯度。在7.5B参数代理模型上训练100B token，EQB把全局最大相对过载从0.92降到0.74，再加有界LEI把局部过载从5.38降到3.52，代价是平均BPB从0.6570升到0.6720。