JAX 里的无丢弃 MoE 训练提速十倍：DeepSeek-V3 671B 在 1024 块 GPU 上仍保持 97% 扩展效率
NVIDIA 把 Transformer Engine 的 MoE 优化接入 JAX 训练栈，让每个 token 都送进所选专家、不丢弃也不补齐。此前在 GB300 上训练 DeepSeek-V3 时，未优化基线只有 103 TFLOPS/GPU，跨 GPU 通信占累计内核时间的 84%；加入分组 GEMM、MXFP8 分组量化和融合的专家并行收发后达到 1,068 TFLOPS/GPU，端到端吞吐约提升 10 倍，并在 1,024 块 GPU 上维持 97% 扩展效率。