# KV缓存

长上下文推理时KV缓存随序列长度线性增长，常超出GPU显存。VerKV把完整缓存留在CPU内存，GPU上只保留按重要性分数做泊松抽样得到的少量token，每个解码步先用证书估计注意力误差，超出容差才从CPU取回额外条目。在Qwen3-4B、Qwen3.5-9B和Ministral-3-8B三个模型、RULER与LOFT两个基准的32K和128K上下文上，GPU常驻缓存为3.13%时三者分别保留94.6%、84.6%和79.6%的全量质量，而Fast KVzip和KVzip在同样3.13%下只剩1.9%至11.9%。

长上下文推理时KV缓存随序列长度线性增长，常超出GPU显存。VerKV把完整缓存留在CPU内存，GPU上只保留按重要性分数做泊松抽样得到的少量token，每个解码步先用证书估计注意力误差，超出容差才从CPU取回额外条目。在Qwen3-4B、Qwen3.5-9B和Ministral-3-8B三个模型、RULER与LOFT两个基准的32K和128K上下文上，GPU常驻缓存为3.13%时三者分别保留94.6%、84.6%和79.6%的全量质量，而Fast KVzip和KVzip在同样3.13%下只剩1.9%至11.9%。

Meta 的开源混合专家模型 Muse Spark Open 总参数 816B、每 token 约激活 42B，此前在 TPU v7 上服务时，一次验证步的耗时是单纯从 HBM 流式读取权重所需时间的 2.9 倍。SGLang-TorchTPU 把一次解码或验证步的全部 62 层写成一个 Pallas 程序，让权重、KV 与跨设备传输都排在计算之前发出。单请求下每输出 token 从 3.78 ms 降到 1.95 ms，两个并发请求时为 1.85 倍，并发继续增大时收益收窄。

Meta 的开源混合专家模型 Muse Spark Open 总参数 816B、每 token 约激活 42B，此前在 TPU v7 上服务时，一次验证步的耗时是单纯从 HBM 流式读取权重所需时间的 2.9 倍。SGLang-TorchTPU 把一次解码或验证步的全部 62 层写成一个 Pallas 程序，让权重、KV 与跨设备传输都排在计算之前发出。单请求下每输出 token 从 3.78 ms 降到 1.95 ms，两个并发请求时为 1.85 倍，并发继续增大时收益收窄。

英伟达把 AI 工厂的内存问题从“GPU 有多少容量”改成“每个字节产出多少有用 token”，用 NVFP4 压缩权重与 KV 缓存、宽专家并行分散 MoE 权重、Dynamo 复用 KV 缓存、Vera CPU 暂存工具调用期间的上下文、CMX 在机架级共享上下文存储。在回放真实编码智能体会话的 SemiAnalysis AgentX 上，每 GPU 同为 288 GB 的 Vera Rubin NVL72 在每用户 160 token/s 下，每兆瓦吞吐最高达到 GB300 NVL72 的 30 倍。

英伟达把 AI 工厂的内存问题从“GPU 有多少容量”改成“每个字节产出多少有用 token”，用 NVFP4 压缩权重与 KV 缓存、宽专家并行分散 MoE 权重、Dynamo 复用 KV 缓存、Vera CPU 暂存工具调用期间的上下文、CMX 在机架级共享上下文存储。在回放真实编码智能体会话的 SemiAnalysis AgentX 上，每 GPU 同为 288 GB 的 Vera Rubin NVL72 在每用户 160 token/s 下，每兆瓦吞吐最高达到 GB300 NVL72 的 30 倍。

面向编码、数学与计算机操作类智能体负载，Evolving Infra 把预填充与解码的算力分配同 KV 缓存管理解耦：节点不再重启即可在两种阶段间切换，KV 留在所有节点可读的共享池中。在最多 256 块 GB300 GPU 上，其平均端到端时延与 P95 首字时延相对 NVIDIA Dynamo 最多降低 4.1 倍和 14 倍，平均一次阶段切换耗时 6.2 秒，而 Dynamo 重启需 754 秒。

面向编码、数学与计算机操作类智能体负载，Evolving Infra 把预填充与解码的算力分配同 KV 缓存管理解耦：节点不再重启即可在两种阶段间切换，KV 留在所有节点可读的共享池中。在最多 256 块 GB300 GPU 上，其平均端到端时延与 P95 首字时延相对 NVIDIA Dynamo 最多降低 4.1 倍和 14 倍，平均一次阶段切换耗时 6.2 秒，而 Dynamo 重启需 754 秒。

长上下文解码的瓶颈在反复读取不断增长的KV缓存，稀疏注意力只取其中一部分位置，但token级选择一直难以同时保住精度和延迟。JSSA用共享的查询—键低维子空间给候选token打分，并配一个免gather的索引注意力内核，让每个KV头保留各自选中的token集合。在GQA、混合滑窗/全局注意力和MLA模型上，它离全量KV精度最近；在B200上128K上下文时解码吞吐最高达到全量KV注意力的水平。

长上下文解码的瓶颈在反复读取不断增长的KV缓存，稀疏注意力只取其中一部分位置，但token级选择一直难以同时保住精度和延迟。JSSA用共享的查询—键低维子空间给候选token打分，并配一个免gather的索引注意力内核，让每个KV头保留各自选中的token集合。在GQA、混合滑窗/全局注意力和MLA模型上，它离全量KV精度最近；在B200上128K上下文时解码吞吐最高达到全量KV注意力的水平。

Netpreme把X-Mem™内存层接入SGLang HiSparse，让解码GPU从高带宽外部内存取回未命中的KV条目，而不是走PCIe访问主机DRAM。在16K上下文、每GPU批192、20% top-k未命中率下，平均每输出token时间从167.48 ms降到84.99 ms，降幅49.25%；40%未命中率下降幅为63.58%。在20%未命中率下，16K至1M上下文的峰值解码吞吐是主机DRAM的2.09–3.04倍。

Netpreme把X-Mem™内存层接入SGLang HiSparse，让解码GPU从高带宽外部内存取回未命中的KV条目，而不是走PCIe访问主机DRAM。在16K上下文、每GPU批192、20% top-k未命中率下，平均每输出token时间从167.48 ms降到84.99 ms，降幅49.25%；40%未命中率下降幅为63.58%。在20%未命中率下，16K至1M上下文的峰值解码吞吐是主机DRAM的2.09–3.04倍。