Aleph Alpha

Aleph Alpha发布的Kolibri是一个混合推理模型，用户可在系统提示中用一句话选择不推理、低、中、高三档推理强度。由于监督微调数据没有标注推理强度，团队按同一数据集、同一难度等级下的推理长度对每条推理轨迹做事后标注，并用2B学生模型复现大模型判定的题目难度。在24个基准中的23个上，中档推理长于低档、高档更长；低档保留高档分数的96%，推理长度为其35%，发布模型保留98%的分数、使用76%的补全token。

Aleph Alpha发布的Kolibri是一个混合推理模型，用户可在系统提示中用一句话选择不推理、低、中、高三档推理强度。由于监督微调数据没有标注推理强度，团队按同一数据集、同一难度等级下的推理长度对每条推理轨迹做事后标注，并用2B学生模型复现大模型判定的题目难度。在24个基准中的23个上，中档推理长于低档、高档更长；低档保留高档分数的96%，推理长度为其35%，发布模型保留98%的分数、使用76%的补全token。

Aleph Alpha 把逐页自检的智能体解析流程蒸馏成单一视觉语言模型 Parsy，让每页只跑一遍。此前该流程靠多个模型和最多三次校验达到 86.0 的 ParseBench 分数，但速度与成本难以支撑百万页级处理。Parsy 用该流程标注公开文档、再经独立版面模型、墨迹覆盖和第二个 OCR 模型清洗标签后训练，在 ParseBench 上得 87.9，单张 H100 每天可解析数十万页，每页成本比原流程低一到两个数量级。

Aleph Alpha 把逐页自检的智能体解析流程蒸馏成单一视觉语言模型 Parsy，让每页只跑一遍。此前该流程靠多个模型和最多三次校验达到 86.0 的 ParseBench 分数，但速度与成本难以支撑百万页级处理。Parsy 用该流程标注公开文档、再经独立版面模型、墨迹覆盖和第二个 OCR 模型清洗标签后训练，在 ParseBench 上得 87.9，单张 H100 每天可解析数十万页，每页成本比原流程低一到两个数量级。

预训练评测常用的每字节比特数（BPB）把模型对标准答案的惊讶度除以答案的UTF-8字节长度，但其中有一部分成本并不随答案变长而增长，于是短答案任务和短条目被系统性压低。Aleph Alpha 团队把每个条目的比特数拟合为固定开销加每字节速率，指出语料BPB恰好等于该固定开销除以任务平均答案长度再加上每字节速率，并在开源评测包 eval-framework 中给出 PriorBPB：用一条跨任务共享的长度先验对每字节成本曲线积分。在五个模型家族、60 多个检查点上，PriorBPB 与平均答案长度的相关性明显减弱，与准确率的相关性优于标准 BPB。

预训练评测常用的每字节比特数（BPB）把模型对标准答案的惊讶度除以答案的UTF-8字节长度，但其中有一部分成本并不随答案变长而增长，于是短答案任务和短条目被系统性压低。Aleph Alpha 团队把每个条目的比特数拟合为固定开销加每字节速率，指出语料BPB恰好等于该固定开销除以任务平均答案长度再加上每字节速率，并在开源评测包 eval-framework 中给出 PriorBPB：用一条跨任务共享的长度先验对每字节成本曲线积分。在五个模型家族、60 多个检查点上，PriorBPB 与平均答案长度的相关性明显减弱，与准确率的相关性优于标准 BPB。