Kolibri把推理长度做成可调档位:低档保留96%高分,只花35%的推理长度
核心概要
Aleph Alpha发布的Kolibri是一个混合推理模型,用户可在系统提示中用一句话选择不推理、低、中、高三档推理强度。由于监督微调数据没有标注推理强度,团队按同一数据集、同一难度等级下的推理长度对每条推理轨迹做事后标注,并用2B学生模型复现大模型判定的题目难度。在24个基准中的23个上,中档推理长于低档、高档更长;低档保留高档分数的96%,推理长度为其35%,发布模型保留98%的分数、使用76%的补全token。
深度剖析
Kolibri把推理长度从固定行为变成用户可选的档位,同一个模型可以直接作答,也可以按低、中、高三档展开推理,高档为默认。 此前让模型少想或按预算推理的做法,要么训练模型决定是否推理,要么把token预算写进提示或在推理时强制预算,要么在强化学习中奖励某个长度目标。 在24个基准中的23个上,监督微调检查点的推理长度中位数按低、中、高排序递增;14个基准上的平均分在不推理时为38.4,低、中、高三档分别为64.9、67.1和67.8。
推理强度标签不是人工标注的,而是按每条轨迹相对于同类请求的推理长度事后推断出来的。 监督微调数据本身不记录每条轨迹投入了多少推理,因此无法直接拿来做档位标签。 按数据集和难度等级分组后,69个数据集中有176个组达到每组200条推理交换的门槛,每组各取自己的第30和第70百分位作为阈值;在数学数据集上,低档在难题上的推理长度中位数为4.1K token,高于高档在简单题上的2.3K。
难度判定由一个2B学生模型承担,它把大模型给出的易、中、难评级蒸馏成可批量打分的规则。 只用数据集作域代理时,同一数学数据集内中间95%的轨迹仍从430 token跨到79K token,说明难度是长度差异的主要来源。 学生模型对每段对话打分四次并取平均、向更难一档取整,与GLM-5.2判定的一致率为84.8%;按难度分开后,数学数据集中易、中、难三档的推理长度中位数分别为592、2.6K和18K token。
启示与展望
已展示的范围是Kolibri的监督微调检查点与发布模型在24个、14个和6个基准上的推理长度与得分表现,以及训练数据中按数据集和难度分组的档位标注流程。
档位标签是事后推断的,模型有可能从提示本身预测长度而忽略系统提示中的档位句子;在固定难度下,档位对长度的影响小于标签所要求的幅度。数据集只是领域的代理,2B难度判定模型有时会判错难度,且推理效率尚未处理,低档仍可能花掉不改变答案的token。
