PISA 用金字塔 Top-K 选择把块稀疏注意力的选择阶段降到 O(N log N)，在 256K 长度上比 BSA 快 9.95 倍
上海交通大学与字节跳动 Seed 的研究者提出 PISA，一种用金字塔式由粗到细 Top-K 选择加 LogSumExp 打分、并配 Triton 核的块稀疏注意力机制，把块选择复杂度从 O(N²/C) 降到 O(N log N)，在 418M、1.47B、2.67B 三个规模上与 BSA、NSA、HiLS 在语言建模和常识推理上表现相当，在六项检索任务上取得稀疏方法中最高平均准确率，并在 64K、128K、256K 序列长度上分别比 BSA 的块选择快 2.86 倍、5.31 倍、9.95 倍。