# 最大似然强化学习

基础模型通常按预训练、中训练、监督微调和强化学习分阶段训练，每阶段换数据也换算法。统一训练把这几步都写成对目标分布的最大似然拟合，让静态语料与强化学习生成样本在同一个训练器里按比例混合，分阶段训练成为其中一个特例。在受控推理任务和真实中训练数据实验中，统一训练改善了准确率与算力的权衡和任务覆盖，并保留了更广的能力。

基础模型通常按预训练、中训练、监督微调和强化学习分阶段训练，每阶段换数据也换算法。统一训练把这几步都写成对目标分布的最大似然拟合，让静态语料与强化学习生成样本在同一个训练器里按比例混合，分阶段训练成为其中一个特例。在受控推理任务和真实中训练数据实验中，统一训练改善了准确率与算力的权衡和任务覆盖，并保留了更广的能力。