预训练评分不再被答案长度带偏：PriorBPB把每字节成本曲线按统一长度先验积分，跨任务排序更贴近准确率

预训练阶段用来判断一次改动好坏的每字节比特数评分，会随标准答案的长短系统变化，而不只反映模型预测得是否流畅。 此前这类评分被当作与答案长度基本无关的细粒度信号，用来在大量小规模实验中挑选数据和架构。 同一个问题“What is the capital of France?”的三个语义相同的答案上，Qwen3-4B 的 BPB 从“It is Paris.”的 1.85 降到“It is Paris, the capital of France.”的 0.77，OLMo-3-7B 从 1.38 降到 1.22；在 MMLU 全文任务内按答案长度分成五组，最短一组（平均 6 字节）的平均比值 BPB 约为最长一组（平均 96 字节）的 11 倍。

把每个条目的比特数写成固定开销加每字节速率后，语料 BPB 可以精确分解为固定开销除以任务平均答案长度再加上每字节速率，因此短答案任务得分更差来自分母而不是难度。 标准做法只把总比特数除以总字节数，没有区分不随长度增长的部分和真正按字节增长的部分。 在 19 个任务、多个模型上，固定开销项与平均标准答案长度强相关，而每字节速率几乎不相关；同一任务内按答案长度分五组，短条目在测试的每个任务上都更差，最长与最短五分位的比值中位数约为 0.43。

PriorBPB 用一条对所有任务相同的长度先验，对从逐词元惊讶度估计出的每字节边际成本曲线做加权平均，从而在保留字节分母的同时去掉任务自身长度分布带来的权重。 若权重改用任务自身的长度分布，PriorBPB 就精确退化为语料 BPB，说明差别只在权重来自数据还是事先固定。 先验取中位长度为 1024 字节的几何分布，该值仅由长度分布决定、在计算任何分数之前设定；在 19 个长度变化的任务上，PriorBPB 的每字节成本曲线在长短答案五分位之间按相同内容字节位置比较，比值中位数为 0.98，95% 可信区间为 [0.94, 1.01]。

在跨任务排序和与准确率的相关性上，PriorBPB 都比标准 BPB 更可用，可作为预训练配方筛选的代理指标。 语料 BPB 和平均比值 BPB 与任务平均标准答案长度强相关，平均比值 BPB 还会额外抬高分数。 62 个基础检查点上与平均答案长度的平均绝对相关系数从 0.68 降到 0.18；与平均比值 BPB 的配对聚类贝叶斯比较中，与准确率的相关性优势在基础检查点上为 +0.021（95% 可信区间 [+0.004, +0.079]），在指令检查点上为 +0.122（[+0.005, +0.571]），全部 81 个检查点为 +0.047（[+0.011, +0.163]）。

报告面向需要跨任务比较预训练检查点的模型构建者与评测工程师，适用场景是答案长度在任务之间和任务内部都变化的多选题与问答类评测。PriorBPB 保留字节分母，因此继承 BPB 的分词器无关性；先验取中位长度 1024 字节的几何分布，该值仅由长度分布决定、在计算任何分数之前设定。作者建议在需要单一跨任务标量时使用带冻结共享先验的 PriorBPB 并说明先验，同时不要跨任务直接平均平均比值 BPB 或语料 BPB。

PriorBPB 的每字节成本曲线在位置 k 上只对到达第 k 字节的条目取平均，因此靠后的位置描述的是一个按长度筛选过的子群体，这种幸存者偏差可能贡献了残余的长度相关性，直接丢弃短条目也不能消除它。残余相关性的幅度随先验均值增大而增大，从先验均值 256 字节时的约 −0.10 到 4096 字节时的约 −0.30，而跨任务排序与冻结在 1024 字节时的排序一致（Spearman ρ = 0.99），因此作者报告的是 1024 字节的结果。作者还提出，Qwen3 指令系列上固定开销随模型变大而增长、从而表现为逆缩放趋势，可能来自提示格式而非模型质量；去掉聊天模板后这一现象减弱但未消失，仅改模板的对照实验也没有消除异常，所以格式不匹配仍只是一个可能假设。