跳到主要内容
检索

# 三维并行

1 篇关联报道

订阅更新
  1. arXiv

    大模型预训练也能当电网调节阀:2048块GPU的数据中心,弃风从1.077降到0.014兆瓦时

    在2048块GPU、以风光直供的AI数据中心里,把大模型预训练的检查点等待与可行的三维并行GPU模式一起纳入日前调度,相对固定连续训练把运行成本降低20.02%,弃风从1.077降到0.014兆瓦时。

已读完全部报道