Aristides Milios

路由推理模型时，每个查询要写多少 token 事先并不知道，而多数路由器按固定或中位长度给候选模型定价。一种做法是在一个冻结的小模型上读取提示的预填激活，同时预测各候选模型的答对概率与输出长度；在九个数据集中的八个上，按预测长度定价比按中位长度定价在同等准确率下少花 9% 到 33%，最多达到完美知道每个查询成本所能省下部分的 69%。

路由推理模型时，每个查询要写多少 token 事先并不知道，而多数路由器按固定或中位长度给候选模型定价。一种做法是在一个冻结的小模型上读取提示的预填激活，同时预测各候选模型的答对概率与输出长度；在九个数据集中的八个上，按预测长度定价比按中位长度定价在同等准确率下少花 9% 到 33%，最多达到完美知道每个查询成本所能省下部分的 69%。