# TorchTitan

TorchTitan发布年度更新，新增Muse Spark Open、Qwen3.5、Kimi K3、DeepSeek-V4等开放权重模型的PyTorch原生训练支持，并推出TitanRL，让预训练、后训练与vLLM推理共用同一份模型，避免训练与推理两套实现悄然不一致。在支持的on-policy配置下，训练器与生成器给出逐位相同的对数概率，二者差距每一步恰为零。更新还报告了DeepSeek V3 671B在MLPerf训练基准上的吞吐数据，以及FlexShard、torch_checkpointing等基础设施改进。

TorchTitan发布年度更新，新增Muse Spark Open、Qwen3.5、Kimi K3、DeepSeek-V4等开放权重模型的PyTorch原生训练支持，并推出TitanRL，让预训练、后训练与vLLM推理共用同一份模型，避免训练与推理两套实现悄然不一致。在支持的on-policy配置下，训练器与生成器给出逐位相同的对数概率，二者差距每一步恰为零。更新还报告了DeepSeek V3 671B在MLPerf训练基准上的吞吐数据，以及FlexShard、torch_checkpointing等基础设施改进。

训练大模型时，改变GPU数量通常会改变数据加载器交给模型的样本顺序，使消融实验把硬件配置误当成数据改动。Zephon把数据加载拆成单线程累加器与无状态并行算子，并把数据划成固定数量的逻辑通道，在TorchTitan中替换默认加载器后，从16卡检查点恢复到8、32、64卡时每个全局批次的SHA-256哈希都与原运行一致。

训练大模型时，改变GPU数量通常会改变数据加载器交给模型的样本顺序，使消融实验把硬件配置误当成数据改动。Zephon把数据加载拆成单线程累加器与无状态并行算子，并把数据划成固定数量的逻辑通道，在TorchTitan中替换默认加载器后，从16卡检查点恢复到8、32、64卡时每个全局批次的SHA-256哈希都与原运行一致。

SGLang团队与Google、Meta合作发布开源后端SGLang-TorchTPU，让同一套SGLang服务引擎在GPU和TPU上运行。此前TPU并非原生PyTorch设备，服务栈难以直接复用PyTorch生态；新后端把调度器、RadixAttention和API服务器原样保留，TPU相关工作放在下层。该后端已在Meta生产环境运行，并作为Miles强化学习流程的rollout引擎与TorchTitan配合。

SGLang团队与Google、Meta合作发布开源后端SGLang-TorchTPU，让同一套SGLang服务引擎在GPU和TPU上运行。此前TPU并非原生PyTorch设备，服务栈难以直接复用PyTorch生态；新后端把调度器、RadixAttention和API服务器原样保留，TPU相关工作放在下层。该后端已在Meta生产环境运行，并作为Miles强化学习流程的rollout引擎与TorchTitan配合。