KV缓存修复预算该花在哪：重算答案所在块，5%预算胜过按token挑选
非前缀KV缓存复用把检索到的块各自编码再拼接，会丢掉19%到100%依赖上下文的正确回答，同类干扰块还会加重损失。研究比较了把有限修复预算花在干扰块还是答案块上：恢复全部干扰块需要接近一次完整预填充，而把预算用于重算答案块，在开放域问答与API文档的九个设置中，5%预算下均胜过按token挑选的修复方法。
Nebula把位置无关缓存搬上集群：四模型四负载中位首字延迟平均降61.4%
面向检索增强生成与智能体工作负载，Nebula把位置无关缓存（PIC，允许同一文本段在不同前缀下复用已算好的键值缓存）的片段提升为集群级缓存对象，使远端复用与并行预填充成为可能。此前分布式缓存系统仍只按前缀匹配，单机PIC又无法利用其他节点的缓存与算力。在四个模型和四个真实RAG与智能体负载上，Nebula相对最强基线把中位首字延迟平均降低61.4%，并平均找回前缀缓存漏掉的76.1%的token。
AMD 推理引擎 ATOM 接上 Mooncake 共享 KV 池：四台 MI350X 服务器上吞吐约为分池两倍
编码智能体会把同一段长对话反复送回服务器，历史能否留在显存之外决定了每轮要重算多少 token。AMD 的开源推理引擎 ATOM 把预填充与解码分置在不同 GPU 上，并接入 Mooncake Store，把两侧主机内存合成一个 KV 池，供预填充保存和恢复会话历史。在四台 AMD Instinct MI350X 服务器上，共享池在 96 与 112 并发会话时吞吐约为各服务器独立分池的两倍，KV 复用率保持 94–96%。
检索文档不再卡在固定前缀：同一份文档换系统提示也能复用KV缓存，命中率从3.3%升到63.9%
KV-Repurpose把大模型推理中的KV缓存复用从“必须前缀完全相同”改成按段独立判断，同一份检索文档即使前面换了系统提示、对话历史或时间戳，也能复用已算好的缓存。在30 GB缓存容量下，Zipf式RAG负载的token级命中率从前缀缓存的3.3%升到63.9%，首token延迟随之下降；单文档问答与摘要质量基本保持，跨文档推理则明显退化。
HeteroFold 让 Llama、Qwen、Ministral 跨家族直接共享 KV 缓存，32K 上下文比原生预填充快约 10.7 倍
该工作提出 HeteroFold，一种在发送方与接收方模型均冻结的前提下、无需接收方预填充的跨家族 KV 缓存迁移方法，通过基于共享字符边界的 Token 对齐、跨层跨头 K/V 映射与面向接收方行为的校准，在 Llama-3.1-8B、Qwen3-4B、Ministral-3-14B 之间的六个迁移方向上于四个长上下文基准取得最佳缓存迁移表现，并在 HiddenBench 多智能体通信上达到与文本通信相当的水平，32K 上下文下 Llama-3.1-8B 到 Ministral-3-14B 的迁移比原生预填充快约 10.7 倍。
PReCache 用低秩预计算与中性重建共享多 LoRA 智能体的 KV 缓存，在几乎不掉点的情况下把 TTFT 最多降低数倍
该工作提出免训练的 KV 缓存共享框架 PReCache，包含 PreLRShared 与 ReBaseShared 两种设计：前者在共享上下文首次被处理时为所有智能体预计算紧凑的智能体专属低秩缓存，从而免除后续智能体对已处理轨迹的重复 prefill；后者进一步用无适配器的隐藏状态重建共享基础缓存以降低对上一个智能体的依赖，并给出面向单流推理的 lazy prefill 与面向并发服务的 double batching 两种调度；在 LLaMA-3.1-8B-Instruct 与 Ministral-8B-Instruct 上、HotpotQA 与 ScienceQA 两个基准中，ReBaseShared 相对无缓存共享推理的平均精度
KVCMAS 用低秩锚点池与链式校正共享多智能体 KV 缓存，在 32K 共享上下文、8 QPS 下把 TTFT 相对无共享推理提速 2.0 倍，并把峰值显存降到 KVComm 的约 1/3.7
该工作提出 KVCMAS，一个面向提示特化多智能体系统的在线 KV 缓存校正框架：它把跨智能体缓存偏差表示为紧凑的低秩状态，并沿智能体工作流链式传递校正，从而无需额外的无上下文参考预填充，在语言与视觉语言负载上取得与既有 KV 缓存共享方法相当或更高的准确率，同时在 32K 共享 token、8 QPS 下相对无共享推理获得 2.0 倍 TTFT 加速，并把峰值 GPU 显存降到先前校正方法 KVComm 的最多 1/3.7。
已读完全部报道