跳到主要内容
检索

# 确定性数据加载

1 篇关联报道

订阅更新
  1. arXiv

    Zephon 数据加载器在文本与视觉语言任务上实现弹性确定性,支持在线有状态流水线并保持有竞争力的吞吐

    Zephon 是一个面向基础模型的数据加载器,针对在线、有状态的数据流水线(如在线分词、打包与混合样本)提供弹性确定性,即在 GPU 拓扑变化、频繁检查点恢复以及不同数据处理后端下仍保持全局训练批次序列确定,并仅检查点有界在途状态使恢复成本不随训练进度增长;在文本与视觉语言工作负载上取得有竞争力的吞吐,并提供现有加载器未同时具备的保证组合。

已读完全部报道