# SS-HSDP分片数据并行框架

分片数据并行训练里，计算内核要的打包低精度布局和优化器要的更新单元长期被绑在一起，SS-HSDP把运行时参数与更新参数拆成两套表示，用共享数据视图和分层分片避免多余搬运。在视频与语言模型的MXFP8训练中，128块GPU上相对最快基线MFU最高提升21.7%，峰值显存与最低显存基线相当或更低。

分片数据并行训练里，计算内核要的打包低精度布局和优化器要的更新单元长期被绑在一起，SS-HSDP把运行时参数与更新参数拆成两套表示，用共享数据视图和分层分片避免多余搬运。在视频与语言模型的MXFP8训练中，128块GPU上相对最快基线MFU最高提升21.7%，峰值显存与最低显存基线相当或更低。