TPU上的注意力核不再空转：FlyWheel让softmax注意力最高提速3.49倍，MXU利用率达81%
FlyWheel是一组为TPU原生编写的注意力核，同时覆盖softmax注意力与Gated DeltaNet线性注意力。它针对TPU矩阵单元因重复操作数加载、向量运算密集和依赖停顿而闲置的问题，重整数据布局、把三角求逆与卷积改写成矩阵乘法，并显式交错独立计算。在TPU v6e上，softmax注意力相对RPA-v3最高提速3.49倍、相对Splash Attention最高提速1.56倍，达到峰值BF16吞吐的81%。