Tianxing Wu

AMD为CDNA 4架构推出免训练的Fused-Softmax Attention，把softmax中占主导的向量运算折叠进注意力的矩阵乘法，让低精度矩阵吞吐真正被用上。在MI355X上，MXFP8、MXFP6、MXFP4内核分别达到约3.0、4.0、4.6 PFLOP/s，而新增误差仍低于量化GEMM操作数本身带来的误差下限。在Wan2.2-T2V-A14B上，MXFP6/4混合调度在保持画面质量的同时带来端到端最高加速，内核已随AMD开源AITER库发布。

AMD为CDNA 4架构推出免训练的Fused-Softmax Attention，把softmax中占主导的向量运算折叠进注意力的矩阵乘法，让低精度矩阵吞吐真正被用上。在MI355X上，MXFP8、MXFP6、MXFP4内核分别达到约3.0、4.0、4.6 PFLOP/s，而新增误差仍低于量化GEMM操作数本身带来的误差下限。在Wan2.2-T2V-A14B上，MXFP6/4混合调度在保持画面质量的同时带来端到端最高加速，内核已随AMD开源AITER库发布。