JSSA把token级稀疏解码做成免gather：128K上下文下吞吐最高达到全量KV注意力
核心概要
长上下文解码的瓶颈在反复读取不断增长的KV缓存，稀疏注意力只取其中一部分位置，但token级选择一直难以同时保住精度和延迟。JSSA用共享的查询—键低维子空间给候选token打分，并配一个免gather的索引注意力内核，让每个KV头保留各自选中的token集合。在GQA、混合滑窗/全局注意力和MLA模型上，它离全量KV精度最近；在B200上128K上下文时解码吞吐最高达到全量KV注意力的水平。
深度剖析
长上下文解码现在可以在token粒度上跳过大部分KV缓存读取，而不必退回块级或页级选择。 此前的实用稀疏方法大多在较粗的粒度上工作，token级选择虽然更细，却没能稳定换来更高精度或更低延迟。 在LongBench、256 token的KV预算下，JSSA在LLaMA-3.1-8B-Instruct、Qwen3-14B和Ministral-3-8B-Instruct-2512上的平均分与全量KV相差不超过0.67分，且没有单一对比方法在三种架构上始终最强。
打分用的低维空间同时容纳查询和键，使被压缩后的排序尽量贴近原始注意力分数。 只保留查询或只重建键的目标不保证保住用于排序的双线性分数，而任意低维投影本身也不保证排序更准。 在LLaMA-3.1-8B-Instruct与Gemma4-26B-A4B-It的默认投影秩下，JSSA的oracle top-k召回高于Loki 6.25至35.37个百分点，高于FASA 22.44至35.25个百分点。
选中的token不再被搬进连续缓冲区，而是按分散的索引直接读取。 常见做法先把选中的键值条目gather成连续块再调用稠密内核，这一步的开销会吃掉token级稀疏带来的收益。 在LLaMA-3.1-8B-Instruct、128K上下文、batch 16下，gather开销与缩减后的注意力计算本身相当，占残余延迟的一半以上；改用免gather执行后，注意力阶段相对全量KV的加速在batch 4和16上大约翻倍。
启示与展望
评测覆盖标准GQA、混合滑窗/全局GQA与MLA三类架构，长上下文理解与语言建模用LLaMA-3.1-8B-Instruct、Qwen3-14B和Ministral-3-8B-Instruct-2512，推理与吞吐用Qwen3-8B、Gemma4-26B-A4B-It和GLM-4.7-Flash，系统实验在单张NVIDIA B200上完成。Gemma4只对全局注意力层做稀疏化，局部层保留原生滑窗注意力；MLA模型的选择在共享潜在缓存上进行，并借助FlashMLA的稀疏内核执行。
边际上界只控制精确分数误差，既不说明界是紧的，也不说明谱解是全局最优；直接优化精确目标在测试设置下没有可测量的选择收益。校准长度比校准语料更敏感，用32K校准的基在128K评测时困惑度升到16.05至18.31，而128K校准的基为11.31至11.48。在约700B规模上，JSSA与原生DSA的推理精度差异很小，作者将其解读为精度相当而非某一方稳定占优。