小模型预填激活也能估输出长度：推理模型路由在九个数据集中的八个省下9%到33%
核心概要
路由推理模型时，每个查询要写多少 token 事先并不知道，而多数路由器按固定或中位长度给候选模型定价。一种做法是在一个冻结的小模型上读取提示的预填激活，同时预测各候选模型的答对概率与输出长度；在九个数据集中的八个上，按预测长度定价比按中位长度定价在同等准确率下少花 9% 到 33%，最多达到完美知道每个查询成本所能省下部分的 69%。
深度剖析
路由推理模型时，可以在调用任何候选模型之前，从一个冻结小模型的预填激活同时读出每个候选的答对概率和输出长度，并按预测长度计价。 此前的预填路由器只预测正确性，把每个候选的输出按训练集的中位长度计价，等于假设每个查询的输出长度相同。 在九个数据集的留出测试问题上按实际计费价格比较，同等准确率下该做法在八个数据集上显著低于中位长度定价，从 CodeContests 的 9.4% 到 SuperGPQA 的 33.0%。
省下的钱来自逐查询决定是否调用一个长度波动很大的强候选，而不是只利用候选之间的单价差。 把所有候选设成相同单价、保留真实长度后，成本探针相对中位长度定价仍分别省下 13.3%（LiveCodeBench）、14.3%（Omni-MATH）和 36.3%（MMLU-Pro）。 去掉最便宜的 gpt-oss-20b 低推理档后，LiveCodeBench 的节省从 27.8% 降到 6.5%，Omni-MATH 从 31.5% 降到 16.2%。
输出长度主要由问题本身决定，同一问题对各个模型都偏长或偏短；在数学和代码数据上难题更长，因此只用预测的成功率来定价就接近成本探针。 在 MMLU-Pro 和 BIG-Bench Extra Hard 上长度与经验难度脱钩，用预测成功率定价分别落后成本探针 18.4 和 22.6 个百分点。 在 MMLU-Pro 上，用经验难度加学科定价相对中位长度只省不到 4%，而成本探针省 29%（单一训练集）。
成本探针在标签很少、接入新模型、迁移到新基准和混合流量下仍保留大部分节省。 在 20 个标注问题上，探针在五个数据集上保留全量数据节省的 51% 到 81%，而外部估计器最多省 10.3%。 在九个基准混合的流量上，不给基准身份的单个探针比按各基准自身中位长度定价多省 22.4%，十个训练集的区间都不含零。
启示与展望
演示范围是五个推理候选（两个 gpt-oss-20b 推理档、deepseek-v4-flash、两个 gpt-oss-120b 推理档）在九个基准的留出测试问题上按实际计费价格评估，另在三个数据集上加入三个其他模型家族。读者对象是部署多模型路由的工程与研究团队；探针需要每个候选的输出长度标签，多数数据集几十个即可。
节省需要存在一个便宜且能解相当比例问题的候选，去掉 gpt-oss-20b 低推理档后大部分节省消失。区分两个价格相近的强候选仍是未解部分：把 gpt-oss-120b 高推理档按 deepseek-v4-flash 的单价计费时，完美成本知识在该对内可省 11% 到 36%，而该路由器相对单用 deepseek-v4-flash 最多省 7.0%。每个区间只覆盖一次比较，未做多重比较校正，且把测试问题视为独立。