# Kolibri 模型

Aleph Alpha发布的Kolibri是一个混合推理模型，用户可在系统提示中用一句话选择不推理、低、中、高三档推理强度。由于监督微调数据没有标注推理强度，团队按同一数据集、同一难度等级下的推理长度对每条推理轨迹做事后标注，并用2B学生模型复现大模型判定的题目难度。在24个基准中的23个上，中档推理长于低档、高档更长；低档保留高档分数的96%，推理长度为其35%，发布模型保留98%的分数、使用76%的补全token。

Aleph Alpha发布的Kolibri是一个混合推理模型，用户可在系统提示中用一句话选择不推理、低、中、高三档推理强度。由于监督微调数据没有标注推理强度，团队按同一数据集、同一难度等级下的推理长度对每条推理轨迹做事后标注，并用2B学生模型复现大模型判定的题目难度。在24个基准中的23个上，中档推理长于低档、高档更长；低档保留高档分数的96%，推理长度为其35%，发布模型保留98%的分数、使用76%的补全token。

稀疏混合专家模型里，路由若偏爱少数专家，其余专家拿不到足够训练信号，专家并行时还会让设备互相等待。Kolibri 预训练采用精确分位数均衡（EQB）与有界负载误差注入（LEI）：前者用两趟基数选择在全批次上精确求出路由偏置，后者把每个微批次的负载误差直接注入路由梯度。在7.5B参数代理模型上训练100B token，EQB把全局最大相对过载从0.92降到0.74，再加有界LEI把局部过载从5.38降到3.52，代价是平均BPB从0.6570升到0.6720。

稀疏混合专家模型里，路由若偏爱少数专家，其余专家拿不到足够训练信号，专家并行时还会让设备互相等待。Kolibri 预训练采用精确分位数均衡（EQB）与有界负载误差注入（LEI）：前者用两趟基数选择在全批次上精确求出路由偏置，后者把每个微批次的负载误差直接注入路由梯度。在7.5B参数代理模型上训练100B token，EQB把全局最大相对过载从0.92降到0.74，再加有界LEI把局部过载从5.38降到3.52，代价是平均BPB从0.6570升到0.6720。