跳到主要内容

# 分组矩阵乘

2 篇关联报道

NVIDIA Technical Blog 2026年9月15日
JAX 里的无丢弃 MoE 训练提速十倍：DeepSeek-V3 671B 在 1024 块 GPU 上仍保持 97% 扩展效率
NVIDIA 把 Transformer Engine 的 MoE 优化接入 JAX 训练栈，让每个 token 都送进所选专家、不丢弃也不补齐。此前在 GB300 上训练 DeepSeek-V3 时，未优化基线只有 103 TFLOPS/GPU，跨 GPU 通信占累计内核时间的 84%；加入分组 GEMM、MXFP8 分组量化和融合的专家并行收发后达到 1,068 TFLOPS/GPU，端到端吞吐约提升 10 倍，并在 1,024 块 GPU 上维持 97% 扩展效率。
NVIDIA 把 Transformer Engine 的 MoE 优化接入 JAX 训练栈，让每个 token 都送进所选专家、不丢弃也不补齐。此前在 GB300 上训练 DeepSeek-V3 时，未优化基线只有 103 TFLOPS/GPU，跨 GPU 通信占累计内核时间的 84%；加入分组 GEMM、MXFP8 分组量化和融合的专家并行收发后达到 1,068 TFLOPS/GPU，端到端吞吐约提升 10 倍，并在 1,024 块 GPU 上维持 97% 扩展效率。
NVIDIA
混合专家模型 Transformer Engine 分组矩阵乘 DeepSeek
PyTorch 2026年10月22日
AMD GPU 上的 PyTorch 多了一条后端：FlyDSL 让算子按硬件显式排布，vLLM 整请求最高 3.01 倍
AMD MI350 系列 GPU 上的 PyTorch 用户现在可以通过既有算子接口调用 FlyDSL 内核，覆盖稠密与分组 GEMM、MXFP8/MXFP4 缩放 GEMM、RMSNorm、TopK 以及经 AOTriton 的注意力。此前这些算子只能走 ATen 或 Triton 等实现；在 MI355X 的算子级测试中，FlyDSL 对 15 个 BF16 稠密 GEMM 形状相对逐形状更快的 ATen/Triton 取得 1.10 倍几何平均加速，MXFP8 与 MXFP4 相对 ATen 分别为 1.58 倍和 1.68 倍。端到端 vLLM 测试中整请求加速最高为 BF16 的 1.13 倍、MXFP8 的 2.04 倍和 MXFP4 的 3.01 倍，具体取决于模型与并发度。
AMD MI350 系列 GPU 上的 PyTorch 用户现在可以通过既有算子接口调用 FlyDSL 内核，覆盖稠密与分组 GEMM、MXFP8/MXFP4 缩放 GEMM、RMSNorm、TopK 以及经 AOTriton 的注意力。此前这些算子只能走 ATen 或 Triton 等实现；在 MI355X 的算子级测试中，FlyDSL 对 15 个 BF16 稠密 GEMM 形状相对逐形状更快的 ATen/Triton 取得 1.10 倍几何平均加速，MXFP8 与 MXFP4 相对 ATen 分别为 1.58 倍和 1.68 倍。端到端 vLLM 测试中整请求加速最高为 BF16 的 1.13 倍、MXFP8 的 2.04 倍和 MXFP4 的 3.01 倍，具体取决于模型与并发度。
PyTorch
FlyDSL GPU内核DSL 分组矩阵乘 MXFP缩放矩阵乘 FMHA注意力内核

已读完全部报道