文学翻译的奖励改由大模型打分：只用原文做强化学习，7B模型在隐喻句上超过QwQ-32B-preview
核心概要
文学翻译的强化学习奖励改由大模型按预设标准打分，不再依赖人工偏好标注或成对参考译文。此前DRT系列推理翻译模型靠合成的长思维链与译文做监督微调，R1-T1、MT-R1等强化学习路线则以COMET、CometKiwi等机器翻译指标作奖励。以Qwen2.5-7B为底座，DeepTrans-7B在MetaphorTrans上相对其底座在GEA5、GEA100、GRF上分别提升16.3%、13.8%、9.0%，并在多数指标上优于30B以下的基线。
深度剖析
文学翻译的强化学习阶段可以只用源句，不需要成对的参考译文。 此前的DRT系列推理翻译模型是在合成的长思维链与译文数据上做监督微调，而R1-T1、MT-R1等强化学习路线仍以COMET、CometKiwi等机器翻译指标作奖励。 在MetaphorTrans上，仅用源句做强化学习的DeepTrans-7B在自动指标和GPT-4o评测上都优于在合成数据上训练的DRT-7B。
奖励由一个大模型按写好的评分标准给出，同时看思维过程和译文。 评分标准把思维过程分为缺乏分析、略有分析、详细分析三档，译文按百分制打分，格式不合规则整体奖励归零。 奖励模型是DeepSeek-v3，训练用GRPO，8张H20部署奖励模型、另8张优化策略模型，强化学习阶段耗约2K GPU小时。
两阶段训练缺一不可，冷启动监督微调之后再由强化学习引导翻译策略。 只做冷启动微调的DeepTrans-7B（Cold Start）和跳过冷启动直接强化学习的DeepTrans-7B（Direct RL）在所有指标上都低于完整模型。 在MetaphorTrans、O. Henry与Orbital三个测试集上，完整DeepTrans-7B的GRF为88.84、87.95、87.95，均高于两个变体。
启示与展望
实验限定在英译中一个翻译方向，底座为7B参数的Qwen2.5-7B，评测覆盖MetaphorTrans测试集以及O. Henry与Orbital两本文集；作者提出可向多语种翻译、翻译风格控制、更高效的翻译奖励以及长短思维平衡等方向延伸。
作者指出奖励模型DeepSeek-v3推理需要大量算力，实验受资源限制只做到7B参数，且只覆盖英译中；训练中期模型一度偏向文言风格，作者将其视为奖励模型的偏好而非目标行为，并建议后续工作评估这种风格化现象。