大模型预训练也能当电网调节阀:2048块GPU的数据中心,弃风从1.077降到0.014兆瓦时
在2048块GPU、以风光直供的AI数据中心里,把大模型预训练的检查点等待与可行的三维并行GPU模式一起纳入日前调度,相对固定连续训练把运行成本降低20.02%,弃风从1.077降到0.014兆瓦时。
在2048块GPU、以风光直供的AI数据中心里,把大模型预训练的检查点等待与可行的三维并行GPU模式一起纳入日前调度,相对固定连续训练把运行成本降低20.02%,弃风从1.077降到0.014兆瓦时。
已读完全部报道