TorchTitan发布年度更新，新增Muse Spark Open、Qwen3.5、Kimi K3、DeepSeek-V4等开放权重模型的PyTorch原生训练支持，并推出TitanRL，让预训练、后训练与vLLM推理共用同一份模型，避免训练与推理两套实现悄然不一致。在支持的on-policy配置下，训练器与生成器给出逐位相同的对数概率，二者差距每一步恰为零。更新还报告了DeepSeek V3 671B在MLPerf训练基准上的吞吐数据，以及FlexShard、torch_checkpointing等基础设施改进。
TorchTitan把强化学习纳入同一套PyTorch原生训练栈，预训练、后训练和vLLM推理中的模型保持同一份，使用者可以在一个代码库里完成工作。 此前的许多强化学习栈为训练和推理各保留一份模型实现，架构改动要在两边同步，运行异常时也难以判断问题出在奖励、算法还是两份副本的不一致。 TitanRL在多个工作负载上做了测试，覆盖长上下文、代码执行、compaction、harness与自对弈等任务，报告称在MoE和稠密模型上都能稳定训练数百步。
TitanRL提供批不变模式，在支持的on-policy配置下把训练器与生成器之间的数值差异压到零。 启用新算法或新内核后奖励与基线不同时，原本难以区分这是改动带来的还是噪声。 在支持的on-policy配置下，训练器与生成器产生逐位相同的对数概率，二者差距每一步恰为零；TorchTitan团队参与的一项近期研究用它考察数学与终端智能体强化学习中的数值不匹配。
TorchTitan为Muse Spark Open、Muse Glimmer、Qwen3-VL与Qwen3.5、Kimi K2.7、Kimi K3和DeepSeek-V4加入PyTorch原生支持，覆盖其5D并行栈。 这些集成此前并不存在于该框架中，用户若要改动并行策略、模型组件或硬件相关内核，往往需要维护单独的模型分支。 配套引入以类型化Python配方、模型配置变换和定向组件覆盖构成的可组合配置系统，并接入Attention Gym的Gated DeltaNet、Kimi Delta Attention与稀疏注意力内核，以及可选的Helion融合RoPE内核，同时保持与torch.compile兼容。
FlexShard与torch_checkpointing针对分布式训练中的优化器更新、参数通信和检查点写入给出新的实现路径。 FSDP2的分片策略无法表达分布式Muon优化器和参数分块量化所需的布局，而DCPv1的保存方式在规模增大时同步开销上升。 在256块H100上运行DeepSeekV3，Muon参数以Owned和BlockShard布局分片，优化器耗时相比纯FSDP实现最多改善79%；在256块H100上运行LLama3 405B，FP8参数AllGather通信量减少约50%，端到端训练步时最多改善20%；在512块H100上运行DSv3 671B、检查点间隔50时，torch_checkpointing把训练器阻塞时间平均值从841.2毫秒降到34.1毫秒。
这则更新面向使用PyTorch做大模型预训练与后训练的工程师和研究者，报告的范围是TorchTitan在团队内部GB300与H100集群上的实测结果，以及TitanRL在所列工作负载上的训练表现。
批不变模式的逐位一致只在支持的on-policy配置下成立；DeepSeek V3 671B的吞吐与数值结果来自团队内部GB300集群，且只扩展了PP、DP和EP三个轴，量化方案为MXFP8。
