# Megatron Core

NVIDIA在Megatron Core上把逐位确定性预训练的开销压到可接受范围：同一初始状态下的两次独立运行、以及从检查点恢复的运行，都要在每一步保持数值完全一致。此前这类确定性配方开销常达两位数百分比，Nemotron 3 Ultra经缓冲区填充优化后从约17%降到2%，再降到1.5%（3,072块GPU）；大规模Nemotron配方在2,432块GPU上测得约2%稳态开销，并在800步内保持逐位一致。

NVIDIA在Megatron Core上把逐位确定性预训练的开销压到可接受范围：同一初始状态下的两次独立运行、以及从检查点恢复的运行，都要在每一步保持数值完全一致。此前这类确定性配方开销常达两位数百分比，Nemotron 3 Ultra经缓冲区填充优化后从约17%降到2%，再降到1.5%（3,072块GPU）；大规模Nemotron配方在2,432块GPU上测得约2%稳态开销，并在800步内保持逐位一致。