VocabX 按成本重排小模型词表：葡语作文评分器实测推理成本降 77%，bench 分数还从 0.703 升到 0.810
核心概要
面向单一领域的专用小模型通常沿用通用基座的多语言词表，导致领域内高频文本被切得很碎，且每生成一个 token 都要为大量用不到的词条打分。Dharma-AI 的 VocabX 把词表选择标准从出现频率改为按字段加权的推理成本，同时在子词层重建切分、在多词层把重复片段合成宏 token。在基于 Qwen3-4B 的葡语作文评分器上，同一基座、同一数据与训练配方下，平均回复长度从 350 个 token 降到 101 个，实测推理成本下降 77.0%，bench 分数从 0.703 升到 0.810。
深度剖析
专用小模型的词表可以不再沿用通用基座，而是按每个 token 的实际服务成本重新构建，从而在不更换基座模型的前提下降低推理开销。 此前词表通常被视为基座模型的固定属性，被继承下来不做改动；已有的词表迁移方法按出现频率挑选 token，且只处理子词切分或多词合并中的一层。 在生产的葡语作文评分器上，用同一基座、同一数据、同一训练配方和同一随机种子训练七个版本，唯一差别是分词器，同一台 RTX 5090 与 vLLM 上跑同样的 500 个请求，按实测运行时间计费，成本下降 77.0%。
方法把候选 token 的收益按它出现在系统提示、用户消息还是模型回复中分别计价，因为生成一个 token 比读入一个 token 更贵。 在测得的评分器场景中，生成一个 token 的成本是读入一个 token 的 7.4 倍，这一比值随硬件、批大小和上下文长度变化，但生成更贵的方向不变。 词表在子词层重建领域词的切分，在多词层用五类挖掘器找出重复片段并合成单个宏 token，两层在同一成本标准下各自受预算约束；评分器的输出层从约 152,000 行降到约 65,000 行。
压缩不能吞掉模型真正要做出的判断，把评分等级与 JSON 结构融进同一个宏 token 反而更差。 第一版词表把每个能力项的等级和周围 JSON 融成一个宏 token，是最紧凑的方案，但 bench 分数只有 0.689，低于生产评分器的 0.703。 让等级单独占一个 token 后，每次回复多 2 个 token，bench 分数升到 0.810，实测成本降幅为 77.0%，而融合版本为 73.3%。
启示与展望
已展示的范围是 Dharma-AI 自述的生产葡语作文评分器，以及合同、医学论文、科学论文、新闻和 Python 代码五个公开领域上的对照实验；作者说明完整方法、各实验表格与被放弃的干预将放在即将发布的 VocabX 论文中。
文中数字来自仍在评审的论文当前版本，作者说明发表前可能变化；生成与读入的 7.4 倍成本比随硬件、问题、批大小和上下文长度变化，可能更大；VocabX 的选择标准未把输出层矩阵本身的成本计入，词表规模改由子词合并与固定预算的宏 token 两步控制。