JSSA把token级稀疏解码做成免gather：128K上下文下吞吐最高达到全量KV注意力
长上下文解码的瓶颈在反复读取不断增长的KV缓存，稀疏注意力只取其中一部分位置，但token级选择一直难以同时保住精度和延迟。JSSA用共享的查询—键低维子空间给候选token打分，并配一个免gather的索引注意力内核，让每个KV头保留各自选中的token集合。在GQA、混合滑窗/全局注意力和MLA模型上，它离全量KV精度最近；在B200上128K上下文时解码吞吐最高达到全量KV注意力的水平。
Titan-Llama给预训练模型外挂神经记忆：冻结主干，长文问答准确率从23.87%升到40.51%
Titan-Llama把预训练Llama-3.2-1B-Instruct前四层改成块状注意力，并在每个KV头上外挂一个固定大小的神经记忆模块，用测试时训练把历史键值压进模块，主干参数保持冻结。在QuALITY上，相比仅用分段注意力窗口，准确率从23.87%升到40.51%；在LongHealth上从14.50%升到40.75%。评测配置下，中等上下文长度预填充快20%以上、解码快37%，稳态解码显存低24%。
KV选择不再等目标层查询：EarlySelectKV用代理查询提前算索引，长输出吞吐最高提升12.4%
查询条件稀疏KV选择每次解码都要先拿到目标层查询，才能给候选打分并生成索引，这段路由因此卡在注意力之前。EarlySelectKV把路由查询换成由更早隐藏状态构造的代理查询，提前算好下一层要访问的KV索引，最终注意力仍用真实查询。在RocketKV上，LongBench相差+0.018分、RULER约−0.01分、代表性NIAH/Passkey设置+0.25个百分点；TensorRT-LLM部署中路由卸载到CPU后，端到端输出吞吐最高提升12.4%，GPU常驻内存减少KV与K-summary池的11.1%。
MASA 把稀疏注意力选择改为矩阵近似，在三种稀疏框架上以零额外预算提升长上下文准确率
作者指出稀疏注意力现有选择规则只保留注意力矩阵中数值大或质量高的条目，而 Transformer 实际是通过矩阵乘法使用该矩阵，因此提出 MASA：用矩阵乘积近似误差的闭式分数替换原有的注意力质量排序，在不改变稀疏核、候选单元与预算的前提下接入 MInference、SeerAttention、FlexPrefill 三种框架，在 RULER、InfiniteBench、LongBench 上取得一致的准确率提升且延迟开销可忽略。
DISCO 把长上下文拆成 Worker 并行检索加 Driver 推理，在 RULER-QA 百万 token 上保持 78.4% 准确率，推理成本降逾 80%
该工作提出 DISCO，把长上下文处理拆分为由轻量 Worker LLM 并行执行的局部证据检索（grounding）与由中心 Driver LLM 负责的全局推理（reasoning），Driver 用 GRPO 强化学习优化动态 DAG 规划；在 RULER-QA 1M token 上以 Qwen3-8B 保持 78.4% 准确率（RAG 基线跌至 10.9%），在 LongBench v2 上比全上下文基线最高提升 9.8 分，并在与 Gemini-3-Pro-Preview 相当的表现下把推理成本降低逾 80%。
已读完全部报道