长上下文推理时KV缓存随序列长度线性增长，常超出GPU显存。VerKV把完整缓存留在CPU内存，GPU上只保留按重要性分数做泊松抽样得到的少量token，每个解码步先用证书估计注意力误差，超出容差才从CPU取回额外条目。在Qwen3-4B、Qwen3.5-9B和Ministral-3-8B三个模型、RULER与LOFT两个基准的32K和128K上下文上，GPU常驻缓存为3.13%时三者分别保留94.6%、84.6%和79.6%的全量质量，而Fast KVzip和KVzip在同样3.13%下只剩1.9%至11.9%。
长上下文解码的瓶颈在反复读取不断增长的KV缓存，稀疏注意力只取其中一部分位置，但token级选择一直难以同时保住精度和延迟。JSSA用共享的查询—键低维子空间给候选token打分，并配一个免gather的索引注意力内核，让每个KV头保留各自选中的token集合。在GQA、混合滑窗/全局注意力和MLA模型上，它离全量KV精度最近；在B200上128K上下文时解码吞吐最高达到全量KV注意力的水平。
Netpreme把X-Mem™内存层接入SGLang HiSparse，让解码GPU从高带宽外部内存取回未命中的KV条目，而不是走PCIe访问主机DRAM。在16K上下文、每GPU批192、20% top-k未命中率下，平均每输出token时间从167.48 ms降到84.99 ms，降幅49.25%；40%未命中率下降幅为63.58%。在20%未命中率下，16K至1M上下文的峰值解码吞吐是主机DRAM的2.09–3.04倍。
查询条件稀疏KV选择每次解码都要先拿到目标层查询，才能给候选打分并生成索引，这段路由因此卡在注意力之前。EarlySelectKV把路由查询换成由更早隐藏状态构造的代理查询，提前算好下一层要访问的KV索引，最终注意力仍用真实查询。在RocketKV上，LongBench相差+0.018分、RULER约−0.01分、代表性NIAH/Passkey设置+0.25个百分点；TensorRT-LLM部署中路由卸载到CPU后，端到端输出吞吐最高提升12.4%，GPU常驻内存减少KV与K-summary池的11.1%。
Mistral在Hugging Face发布Mistral Large 4（Le Chonk），这是一个约1T总参数、49B激活参数、上下文窗口1M token的多模态混合专家模型，以开放权重形式提供FP8与NVFP4两个官方版本。它把大专家池与稀疏注意力、Pixtral视觉编码器组合起来，语言模型为每个token只选少数专家，注意力索引器只选部分历史位置。在要求复现并修补开源软件真实漏洞的Artificial Analysis Cyber Index测试上，该模型得82%，Mistral称这是该测试已报告的最高分。
vLLM 在发布当天为 Mistral Large 4 提供推理支持，这是一款 1 万亿参数、每 token 激活 490 亿的稀疏混合专家多模态模型。支持工作包括可断 CUDA 图、手写融合、解码与预填充上下文并行、DSpark 投机解码、NIXL 分离式服务以及主机内存 KV 卸载。在 TP8 上，NVFP4 每 token 解码比 FP8 快 1.08–1.19 倍，并持有约 1.5 倍 KV 缓存，而多模态、长上下文等评测与 FP8 的差距不超过 2.1 分。
长上下文RLVR的rollout生成改用稀疏注意力起草、全注意力验证，在Qwen3-1.7B与Qwen3-8B上把端到端训练吞吐提高到自回归的1.39倍和1.35倍，同时保持任务表现相当。
Zebra3D把预训练3D重建模型的全局注意力按层敏感度换成线性与瓦片稀疏混合，在约94%平均注意力稀疏度下仍保持接近稠密模型的位姿精度，1024视角端到端提速最高5.6倍。
作者指出稀疏注意力现有选择规则只保留注意力矩阵中数值大或质量高的条目，而 Transformer 实际是通过矩阵乘法使用该矩阵，因此提出 MASA：用矩阵乘积近似误差的闭式分数替换原有的注意力质量排序，在不改变稀疏核、候选单元与预算的前提下接入 MInference、SeerAttention、FlexPrefill 三种框架，在 RULER、InfiniteBench、LongBench 上取得一致的准确率提升且延迟开销可忽略。
作者提出WavePrune，一种免训练方法，将每个RoPE通道的注意力限制在其首个旋转周期内，从而消除位置混叠造成的“幽灵”次对角线；在五个长上下文模型中的四个上提升HELMET得分（Qwen3-8B由35.7升至40.0），在从头预训练时降低外推长度上的验证损失，并通过FlashWavePrune在32K上下文相对FlashAttention-2取得1.15倍预填充与1.24倍解码加速。