Meta把俄亥俄旧数据中心改造成千兆瓦级超算:首期已训出Muse,预训练有效算力占比超85%
Meta在俄亥俄州新奥尔巴尼把一座原本承载网页流量的常规数据中心改造成千兆瓦级超算Prometheus,首期已完成并用于训练Muse基础模型。大规模训练中单台主机故障即可拖慢整个作业,Meta通过提升系统稳定性,使Muse Wonder预训练运行的goodput超过85%、强化学习运行超过90%。集群目前由数十万块GPU组成,满规模目标约100万块。
Meta在俄亥俄州新奥尔巴尼把一座原本承载网页流量的常规数据中心改造成千兆瓦级超算Prometheus,首期已完成并用于训练Muse基础模型。大规模训练中单台主机故障即可拖慢整个作业,Meta通过提升系统稳定性,使Muse Wonder预训练运行的goodput超过85%、强化学习运行超过90%。集群目前由数十万块GPU组成,满规模目标约100万块。
已读完全部报道