# FMHA注意力内核

AMD MI350 系列 GPU 上的 PyTorch 用户现在可以通过既有算子接口调用 FlyDSL 内核，覆盖稠密与分组 GEMM、MXFP8/MXFP4 缩放 GEMM、RMSNorm、TopK 以及经 AOTriton 的注意力。此前这些算子只能走 ATen 或 Triton 等实现；在 MI355X 的算子级测试中，FlyDSL 对 15 个 BF16 稠密 GEMM 形状相对逐形状更快的 ATen/Triton 取得 1.10 倍几何平均加速，MXFP8 与 MXFP4 相对 ATen 分别为 1.58 倍和 1.68 倍。端到端 vLLM 测试中整请求加速最高为 BF16 的 1.13 倍、MXFP8 的 2.04 倍和 MXFP4 的 3.01 倍，具体取决于模型与并发度。

AMD MI350 系列 GPU 上的 PyTorch 用户现在可以通过既有算子接口调用 FlyDSL 内核，覆盖稠密与分组 GEMM、MXFP8/MXFP4 缩放 GEMM、RMSNorm、TopK 以及经 AOTriton 的注意力。此前这些算子只能走 ATen 或 Triton 等实现；在 MI355X 的算子级测试中，FlyDSL 对 15 个 BF16 稠密 GEMM 形状相对逐形状更快的 ATen/Triton 取得 1.10 倍几何平均加速，MXFP8 与 MXFP4 相对 ATen 分别为 1.58 倍和 1.68 倍。端到端 vLLM 测试中整请求加速最高为 BF16 的 1.13 倍、MXFP8 的 2.04 倍和 MXFP4 的 3.01 倍，具体取决于模型与并发度。