Meta公开吉瓦级AI网络:首款液冷机架内置102.4T交换机,规模组网从三层压到两层
核心概要
Meta在2026年OCP全球峰会上公开了支撑最新AI模型和吉瓦级Prometheus集群的网络设计。此前规模组网按三层Clos组织,交换机平台层各厂商私有,每上一个平台都要重复数月的bring-up。这次每块GPU直连八个网络平面、把Clos压成两层,并展出首款液冷网络机架IcePack——里面装的是102.4T交换机IceCube,128个800G端口;同批还有开源的MetaRoCE传输软件和提交给OCP的OSPA 1.0规范。
深度剖析
Meta的规模组网少了一层:每块GPU直连八个网络平面,Clos从三层改成两层,网卡按包把流量散到各条路径,主机与交换机共用一套控制面。 此前的规模组网按三层Clos组织,从GPU到对端要多经过一级交换。 这套扁平组网由Meta与NVIDIA联合搭建,并共享给其云合作伙伴。
承载这些平面的是一台液冷交换机:Meta首款液冷网络机架IcePack里装的是IceCube,整机102.4T,128个800G端口不成块阻塞。 IceCube做成2OU、液冷与风冷混合、无独立PHY的形态,交换芯片可选Broadcom Tomahawk 6C或NVIDIA Spectrum-6,系统软件跑FBOSS,即Meta自研的开放交换机操作系统。 这些设计直接支撑Meta最新的AI模型和吉瓦级的Prometheus集群。
启示与展望
这次公开的是OCP 2026峰会上的设计与规范,面向支撑最新AI模型和吉瓦级Prometheus集群的网络:每GPU八个平面的两层扁平组网、首款液冷网络机架IcePack及装在其内的102.4T交换机IceCube、连接建筑与园区的BAG超级骨干、提交给OCP的OSPA 1.0规范,以及开源的MetaRoCE。ESUN规范从1.0走向1.1,MetaRoCE的DPDK版本标注为即将推出。
单机架72个加速器仍是102.4T硅上的预览。MetaRoCE这次先放出用户态实现,DPDK版本只说即将推出。IceCube及其N-IceCube变体按2OU、液冷与风冷混合、无PHY的形态设计。
