PLaMo 3 Translate 公开四档权重：0.8B 小模型在日英与日语多语翻译上超过30倍大的专用模型

翻译专用模型 PLaMo 3 Translate 以 0.8B 到 31B 四个尺寸公开权重，最小一档在日英和日语↔多语翻译上超过参数量大 30 倍以上的现有翻译专用模型。 此前的翻译专用模型要在同等翻译质量下需要大得多的参数量，小模型难以独立承担高质量翻译。 日英性能取 PFTB、SaaS、WMT24++ COMET-22 三项平均，多语性能取 FLORES+ chrF++ 的日语↔多语与英语↔多语平均，与 TranslateGemma、Hy-MT2 等现有翻译专用模型对比；英语↔多语方向由 2B 模型超过现有全部翻译专用模型。

训练从 PLaMo 第 3 代基座出发，先做两阶段监督微调，再做直接偏好优化，8B 及以下模型在两者之间插入 31B 教师的蒸馏。 PLaMo 2 Translate 的性能提升主要来自后段 DPO，而这一代在几乎不改训练方式和超参数的情况下，仅靠数据精炼就让监督微调阶段取得大幅提升。 监督微调后，0.8B 模型在日英性能上已超过 8B 的 PLaMo 2 Translate；DPO 在基准分数上变化很小，改用 LLM 判官成对比较后，31B 模型第一轮 DPO 对监督微调版在 PFTB 英→日、日→英的胜率分别为 57% 和 59%。

译文的合成不靠单次调用大模型，而是用锦标赛式数据合成、逆翻译和迭代自蒸馏反复提纯训练对。 单次让 Gemma 4 31B IT 直接翻译，多数情况下仍有改进空间；只用单向合成译文训练又会压低模型输出的流畅度。 锦标赛式合成先产生多个候选，再由 Gemma 4 两两比较、把败者的优点并入胜者并逐轮重复；逆翻译用原文与合成译文共同修正原文，得到合成译文→修正原文的反向对；迭代自蒸馏把新译文与现有数据做决赛比较后择优替换，仅施加于第二阶段数据。

蒸馏以 DistiLLM-2 为底，用 AMiD 的混合分布调整学习目标，缓解教师认为几乎不出现的词元被学生赋概率时损失过大的问题。 纯 Reverse KL 会因教师与学生分布差异过大而使训练不稳定，混合分布让教师高概率词元基本保留、低概率词元也吸收少量学生分布。 参照译序列上计算与教师的 Forward KL，学生自生成序列上计算 Reverse KL，学生序列每数十步重新生成；蒸馏后小模型性能提升最明显，8B 及以下模型随后同样施加迭代 DPO。

公开范围是四个尺寸的模型权重与量化格式，性能结论限于 PFTB、SaaS、WMT24++ 与 FLORES+ 四项基准上的日英、日语↔多语和英语↔多语方向；许可上非商用不限收入，商用需在年收入或销售额 10 亿日元以内登记后免费使用。

DPO 带来的改进在基准分数上小到几乎测不出，只能靠 LLM 判官成对比较显示约 50% 出头的胜率，且并非每一处表达都会改善；参数量减小时性能仍有下降趋势，只是日英方向保持得较好。