PyTorch来源发表:
TorchTitan把强化学习收进同一份模型：训练与vLLM推理不再各存一份权重
核心概要
TorchTitan发布年度更新，新增Muse Spark Open、Qwen3.5、Kimi K3、DeepSeek-V4等开放权重模型的PyTorch原生训练支持，并推出TitanRL，让预训练、后训练与vLLM推理共用同一份模型，避免训练与推理两套实现悄然不一致。在支持的on-policy配置下，训练器与生成器给出逐位相同的对数概率，二者差距每一步恰为零。更新还报告了DeepSeek V3 671B在MLPerf训练基准上的吞吐数据，以及FlexShard、torch_checkpointing等基础设施改进。
深度剖析
TorchTitan把强化学习纳入同一套PyTorch原生训练栈，预训练、后训练和vLLM推理中的模型保持同一份，使用者可以在一个代码库里完成工作。 此前的许多强化学习栈为训练和推理各保留一份模型实现，架构改动要在两边同步，运行异常时也难以判断问题出在奖励、算法还是两份副本的不一致。 TitanRL在多个工作负载上做了测试，覆盖长上下文、代码执行、compaction、harness与自对弈等任务，报告称在MoE和稠密模型上都能稳定训练数百步。