TorchTitan把强化学习收进同一份模型：训练与vLLM推理不再各存一份权重
TorchTitan发布年度更新，新增Muse Spark Open、Qwen3.5、Kimi K3、DeepSeek-V4等开放权重模型的PyTorch原生训练支持，并推出TitanRL，让预训练、后训练与vLLM推理共用同一份模型，避免训练与推理两套实现悄然不一致。在支持的on-policy配置下，训练器与生成器给出逐位相同的对数概率，二者差距每一步恰为零。更新还报告了DeepSeek V3 671B在MLPerf训练基准上的吞吐数据，以及FlexShard、torch_checkpointing等基础设施改进。