万亿参数预训练也能逐位复现：NVIDIA把确定性开销从两位数压到约2%
NVIDIA在Megatron Core上把逐位确定性预训练的开销压到可接受范围：同一初始状态下的两次独立运行、以及从检查点恢复的运行，都要在每一步保持数值完全一致。此前这类确定性配方开销常达两位数百分比，Nemotron 3 Ultra经缓冲区填充优化后从约17%降到2%，再降到1.5%（3,072块GPU）；大规模Nemotron配方在2,432块GPU上测得约2%稳态开销，并在800步内保持逐位一致。
NVIDIA 用 Groq 3 LPX 的确定性执行把电压跌落降低逾 60%，让每兆瓦产出更多推理 token
NVIDIA 介绍其 Vera Rubin 平台中 Groq 3 LPX 低延迟加速器的确定性执行模型：LPU 编译器可把计算与数据搬运排到时钟周期级，从而提前预测每个周期的电流需求，并借助 Preemptive Power（PEP）与 Clock Period Synthesis（CPS）两项技术降低电压跌落、缩小电压保护带，内部测试显示电压跌落减少逾 60%，估计可持续供电基线电压下降高个位数百分比，同一工作负载功耗有望降低低两位数百分比，平台层面在 2T+ 参数模型、长上下文与高交互场景下相较上一代 GB200 NVL72 可实现最高 35 倍每兆瓦吞吐。
已读完全部报道