跳到主要内容
返回时间线
NVIDIA Technical Blog来源发表:

NVIDIA 用 Groq 3 LPX 的确定性执行把电压跌落降低逾 60%,让每兆瓦产出更多推理 token

核心概要

NVIDIA 介绍其 Vera Rubin 平台中 Groq 3 LPX 低延迟加速器的确定性执行模型:LPU 编译器可把计算与数据搬运排到时钟周期级,从而提前预测每个周期的电流需求,并借助 Preemptive Power(PEP)与 Clock Period Synthesis(CPS)两项技术降低电压跌落、缩小电压保护带,内部测试显示电压跌落减少逾 60%,估计可持续供电基线电压下降高个位数百分比,同一工作负载功耗有望降低低两位数百分比,平台层面在 2T+ 参数模型、长上下文与高交互场景下相较上一代 GB200 NVL72 可实现最高 35 倍每兆瓦吞吐。

AI-generated editorial illustration: How NVIDIA Groq 3 LPX Deterministic Execution Drives Power-Efficient High-Interactivity Inference on NVIDIA Vera Rubin

深度剖析

Groq 3 LPX 的确定性执行模型让 LPU 编译器在运行前就生成一份精确到时钟周期的调度,规定每块数据何时移动到哪个计算单元、何时执行,并覆盖整机架 256 颗 LPU 芯片。 与多数芯片在运行时按资源可用性动态切换操作的做法不同,这里把计算与数据搬运的时序提前固定下来,使单次计算、内存读取和芯片间通信在每次运行中占用相同的时钟周期数。 文章以硬件结构说明支撑这一确定性:每颗 LPU 只有 MXM(矩阵乘)、VXM(向量运算)、SXM(转置与重塑)等少量硬件单元,配有保持时钟周期级同步的硬件、无层级的片上 SRAM,以及 LPU 之间直连而非经中间环节的互连。

由于调度是周期精确的,编译器可以预测每个周期的电流需求曲线,并据此启用 Preemptive Power(PEP)与 Clock Period Synthesis(CPS):前者在需求到来之前就命令供电网络调整电压,后者通过拉长或缩短单个时钟周期来压低电流上升速率 di/dt。 通常芯片必须持续预留电压保护带以应对随时可能出现的电流突变,而这里把供电准备和时钟周期长度都纳入编译期调度,使保护带可以缩小。 文章给出机制层面的因果链:电流突变越大、di/dt 越高,电压跌落越大;PEP 让去耦电容需要弥补的缺口变小,CPS 则把电流尖峰最高的那些周期拉长。CPS 依赖 Groq 3 LPX 的 plesiosynchronous 时钟系统来保持芯片间与芯片内同步。

内部测试显示该方法使电压跌落减少逾 60%,并估计可持续供电的基线电压下降高个位数百分比;由于功耗与电压平方成正比,功耗降幅会更大,且不影响工作负载。 文章把确定性调度从性能手段扩展为功耗手段,指出同一工作负载的功耗相较规格相近的非确定性系统有望降低低两位数百分比。 证据来自 Groq 3 LPX 系统的内部测试,文章未给出测试规模、对比配置或统计细节;电压与功耗的换算依据是文中给出的“电压高 10% 则功耗高 21%”这一平方关系。

在平台层面,Groq 3 LPX 与 Vera Rubin NVL72 组合,在 2T+ 参数模型、长上下文与高交互场景下,相较上一代 NVIDIA GB200 NVL72 可实现最高 35 倍每兆瓦吞吐;工厂级 DSX MaxLPS 可在同一站点电力包络内多部署最多 40% GPU 并带来 35% 更高 token 吞吐。 这些数字把机架内的确定性供电控制与工厂级、机架级电力管理放在同一目标下:在固定电力预算内产出更多 token。 文章以平台对比和工厂级软件效果的形式给出这些数字,未说明测量条件、模型清单或基准细节;Groq 3 LPX 的确定性供电控制计划于 2026 年下半年引入 NVIDIA Vera Rubin 平台。

启示与展望

这篇文章面向规划 AI 工厂电力与部署密度的读者,说明确定性执行如何让编译器在运行前排出周期级调度,并据此在机架内用 PEP 与 CPS 缩小电压保护带。它适用于高交互、长上下文、2T+ 参数模型的推理场景,并与工厂级 DSX MaxLPS、机架级 Intelligent Power Smoothing 形成分层配合。对读者而言,这提供了一条把供电裕量转化为可用算力的思路:先让时序可预测,再把可预测性用于电力调度。

文章给出的收益数字(>60% 电压跌落减少、高个位数基线电压下降、低两位数功耗下降、35 倍每兆瓦吞吐、40% 更多 GPU 与 35% 更高 token 吞吐)来自内部测试与估计,未说明测试规模、对比系统配置、模型清单与测量条件,因此这些数字在多大范围内可复现仍是开放问题。此外,确定性调度对编译器与硬件协同的要求较高,在非确定性架构上如何取得类似效果、以及 2026 年下半年落地时的实际表现,都值得持续观察。

来源