预训练、中训练与强化学习共用一个损失：统一训练在同等算力下提高准确率与覆盖
核心概要
基础模型通常按预训练、中训练、监督微调和强化学习分阶段训练，每阶段换数据也换算法。统一训练把这几步都写成对目标分布的最大似然拟合，让静态语料与强化学习生成样本在同一个训练器里按比例混合，分阶段训练成为其中一个特例。在受控推理任务和真实中训练数据实验中，统一训练改善了准确率与算力的权衡和任务覆盖，并保留了更广的能力。
深度剖析
基础模型的整个训练流程可以用一个固定的似然学习规则完成，变化只发生在喂给模型的数据分布上。 此前的流程把预训练、中训练、监督微调和强化学习当作彼此独立的学习问题，各自配有专门的训练配方和基础设施。 这一等价关系建立在把 MaxRL 的梯度改写为对当前策略成功条件分布的最大似然拟合之上，从而让强化学习与预训练、中训练、SFT 共用同一个损失形式。
实现上，静态数据和强化学习生成样本被写成同一种带权重的样本格式，由同一个训练器混合采样。 分阶段训练相当于把全部混合权重在某一时刻集中到单一数据源，统一训练则允许各数据源重叠并按比例随时间变化。 生成与优化异步进行，生成器把完成的批次写入共享缓冲区，训练器每若干次更新发布一次权重；受控实验用 124M 参数模型、20B token 预训练语料和 510M token 中训练语料，真实数据实验用 0.76B 参数模型和 240M token 异构中训练语料。
启示与展望
已展示的范围是两类设置：124M 参数模型在固定 20B token 预训练语料与 510M token 推理谜题中训练语料上的受控实验，以及 0.76B 参数模型在数学强化学习上混合 240M token 异构中训练语料的真实数据实验；算力比较覆盖预训练、中训练和强化学习三部分。
作者指出，实验揭示了准确率、覆盖与保留之间的权衡，但没有给出普遍更优的混合比例或调度；算力研究只刻画了所评估的配置，未建立有预测能力的 scaling law；多数运行一次只优化单个强化学习任务，且下游适配仍不可避免地需要一个单独的训练阶段。