# VocabX

面向单一领域的专用小模型通常沿用通用基座的多语言词表，导致领域内高频文本被切得很碎，且每生成一个 token 都要为大量用不到的词条打分。Dharma-AI 的 VocabX 把词表选择标准从出现频率改为按字段加权的推理成本，同时在子词层重建切分、在多词层把重复片段合成宏 token。在基于 Qwen3-4B 的葡语作文评分器上，同一基座、同一数据与训练配方下，平均回复长度从 350 个 token 降到 101 个，实测推理成本下降 77.0%，bench 分数从 0.703 升到 0.810。

面向单一领域的专用小模型通常沿用通用基座的多语言词表，导致领域内高频文本被切得很碎，且每生成一个 token 都要为大量用不到的词条打分。Dharma-AI 的 VocabX 把词表选择标准从出现频率改为按字段加权的推理成本，同时在子词层重建切分、在多词层把重复片段合成宏 token。在基于 Qwen3-4B 的葡语作文评分器上，同一基座、同一数据与训练配方下，平均回复长度从 350 个 token 降到 101 个，实测推理成本下降 77.0%，bench 分数从 0.703 升到 0.810。