大模型预训练也能当电网调节阀:2048块GPU的数据中心,弃风从1.077降到0.014兆瓦时
导语
在2048块GPU、以风光直供的AI数据中心里,把大模型预训练的检查点等待与可行的三维并行GPU模式一起纳入日前调度,相对固定连续训练把运行成本降低20.02%,弃风从1.077降到0.014兆瓦时。
正文
大模型预训练负荷可以被电网当作可调度的负荷来用,而不只是一个持续拉满的用电大户。 此前多数数据中心负荷模型把算力需求写成连续可调功率或笼统的可延迟任务,这会高估大模型预训练的灵活性。 在2048块GPU、两个LLaMA预训练任务的算例中,检查点感知的三维调度相对固定连续训练把运行成本降低20.02%,弃风从1.077降到0.014兆瓦时。
调度器只在检查点处让训练等待或恢复,恢复时的功率档位由可行的三维并行GPU模式决定。 检查点本身只提供安全暂停的时间边界,恢复能力来自张量、流水线、数据三种并行组合出的离散执行模式。 内存、整除性和GPU容量筛选后,LLM-A生成135个可行配置、LLM-B生成111个,Pareto剪枝后保留12个和21个,最优调度只用到4个和3个模式。
接下来
该框架面向并网、风光直供的AI数据中心,GPU池假定专用于预训练,算例为2048块GPU、两个LLaMA预训练任务,可再生出力和电价取自CAISO。作者提出后续将扩展到多日随机调度、微调与推理等其他AI负载,纳入共享GPU池下的空闲GPU机会成本,并研究多个AI数据中心之间的协同调度。
数值曲线和生成的三维模式由公开轨迹与数据构造,而非专有生产轨迹;检查点收益递减,最终成本改善仅1.51%,12个检查点分段已捕获大部分可用灵活性;GPU容量存在可行性阈值,768至1152块GPU无法完成两个日切片,1280块才恢复可行性;可再生与AIDC容量比升到1.5时绿电占比达89.14%,但成本略升、弃风达2.127兆瓦时。
