# 弹性确定性数据加载

训练大模型时，改变GPU数量通常会改变数据加载器交给模型的样本顺序，使消融实验把硬件配置误当成数据改动。Zephon把数据加载拆成单线程累加器与无状态并行算子，并把数据划成固定数量的逻辑通道，在TorchTitan中替换默认加载器后，从16卡检查点恢复到8、32、64卡时每个全局批次的SHA-256哈希都与原运行一致。

训练大模型时，改变GPU数量通常会改变数据加载器交给模型的样本顺序，使消融实验把硬件配置误当成数据改动。Zephon把数据加载拆成单线程累加器与无状态并行算子，并把数据划成固定数量的逻辑通道，在TorchTitan中替换默认加载器后，从16卡检查点恢复到8、32、64卡时每个全局批次的SHA-256哈希都与原运行一致。

Zephon 是一个面向基础模型的数据加载器，针对在线、有状态的数据流水线（如在线分词、打包与混合样本）提供弹性确定性，即在 GPU 拓扑变化、频繁检查点恢复以及不同数据处理后端下仍保持全局训练批次序列确定，并仅检查点有界在途状态使恢复成本不随训练进度增长；在文本与视觉语言工作负载上取得有竞争力的吞吐，并提供现有加载器未同时具备的保证组合。

Zephon 是一个面向基础模型的数据加载器，针对在线、有状态的数据流水线（如在线分词、打包与混合样本）提供弹性确定性，即在 GPU 拓扑变化、频繁检查点恢复以及不同数据处理后端下仍保持全局训练批次序列确定，并仅检查点有界在途状态使恢复成本不随训练进度增长；在文本与视觉语言工作负载上取得有竞争力的吞吐，并提供现有加载器未同时具备的保证组合。