模型切换不再丢掉前缀缓存：ShadowPrefill借空闲算力预热，切换调用延迟最多降21.4%
按步路由的智能体每次换模型，目标模型都要重新预填整段上下文，前缀命中率从同模型调用的80–89%跌到44–65%。ShadowPrefill在路由器未选中的模型上，用正常流量实例的空闲容量提前预填会话上下文，让下一次切换直接命中缓存。在24个模型对、五个智能体基准上，切换调用延迟降低8.5–21.4%，路由token成本降低22.5–46.1%，正常流量的SLO不受影响，每请求能耗上升0.4%。
Nebula把位置无关缓存搬上集群：四模型四负载中位首字延迟平均降61.4%
面向检索增强生成与智能体工作负载，Nebula把位置无关缓存（PIC，允许同一文本段在不同前缀下复用已算好的键值缓存）的片段提升为集群级缓存对象，使远端复用与并行预填充成为可能。此前分布式缓存系统仍只按前缀匹配，单机PIC又无法利用其他节点的缓存与算力。在四个模型和四个真实RAG与智能体负载上，Nebula相对最强基线把中位首字延迟平均降低61.4%，并平均找回前缀缓存漏掉的76.1%的token。
编码智能体压缩上下文不必改写历史：ObsDrop只释放过期KV，16个并发智能体下吞吐最高5.37倍
编码智能体每轮只往历史末尾追加内容，不压缩时前缀缓存复用率可达98%至99%，但文本级上下文压缩一旦改写早先的token，后面的KV就要全部重算。ObsDrop把压缩从提示词移到KV缓存：逻辑token前缀保持不变，只释放过期工具观测占用的KV并从注意力中排除，已在SGLang与Sparse-vLLM中实现。在16个并发智能体下，相对不压缩，FlashInfer后端吞吐提升2.45至2.85倍，Triton后端峰值5.37倍，任务质量接近不压缩。
Mirage 给 KV 缓存计时侧信道加闸：敏感前缀被探测时只延迟网关发流，GPU 照常复用
共享前缀缓存让命中请求的首 token 时间明显短于未命中，攻击者据此反复试探即可逐字猜出他人提示词。Mirage 不再按内容隔离缓存，而是在网关侧统计同一敏感前缀下新出现的候选分支数量，超过预算后把整条输出流整体后移，使命中看起来像一次自然的缓存未命中。在 SGLang 上对 Qwen、Llama、DeepSeek 三个模型、三种计时攻击的测试中，攻击成功率降到接近随机猜测，公开前缀的中位首 token 延迟基本不变。
已读完全部报道