Meta把俄亥俄旧数据中心改造成千兆瓦级超算:首期已训出Muse,预训练有效算力占比超85%
核心概要
Meta在俄亥俄州新奥尔巴尼把一座原本承载网页流量的常规数据中心改造成千兆瓦级超算Prometheus,首期已完成并用于训练Muse基础模型。大规模训练中单台主机故障即可拖慢整个作业,Meta通过提升系统稳定性,使Muse Wonder预训练运行的goodput超过85%、强化学习运行超过90%。集群目前由数十万块GPU组成,满规模目标约100万块。
深度剖析
Prometheus首期已建成并投入训练,支撑了Meta的Muse系列基础模型,其中包括在个人与专业智能体任务上达到当前最优表现的Muse Wonder前沿模型。 两年前新奥尔巴尼还是一座只跑网页流量的常规数据中心站点,Meta借助硬件、网络与建筑设计上的改进把它改造成前沿模型训练基地。 首期建成后直接用于训练Muse基础模型,这一用途本身构成对集群可用性的对照。
训练作业的产出效率取决于整机协同,任何一台主机出问题都可能拖慢甚至中止整个作业,从而拉低goodput,即有效训练算力占总算力的比例。 Meta把重心放在系统稳定性与可靠性上,而不是单纯堆叠算力。 Muse Wonder预训练运行的goodput超过85%,强化学习运行超过90%,训练期间整体墙钟平均无中断时间约为4.7万GPU小时。
集群以NVL72机架为基本单元,72块GPU在同一网络结构内作为单个加速器协同工作,跨楼宇由专用后端以太网承担GPU之间的直接通信。 传统网页服务的网络只搬运请求与响应,实例之间不需要高带宽和紧耦合协同,而大规模AI训练对这两者都有要求。 目前部署了NVIDIA GB200与GB300两代平台,基于Vera Rubin NVL72的第三代即将到位;满规模时约100万块GPU同步运行。
启示与展望
报道范围限于Meta公开的Prometheus集群建设与运行情况:首期已建成并训练Muse基础模型,当前由数十万块GPU组成,满规模目标约100万块,后续将混用GB300与Vera Rubin NVL72。读者对象是关心大规模训练基础设施的研究人员与工程师。Meta表示正与NVIDIA合作继续扩展容量,并称下一座超算Hyperion将沿用Prometheus的经验设计。
goodput、MTBI与中断率下降幅度均为Meta自报的集群运行数据,未给出第三方复核。中断率从峰值下降99%对应的是2025年中期首期阶段,后续固件修复把MTBI提升到5.4万GPU小时以上,但可靠性目标仍是每8K GPU每天两次中断,尚未达到。
