# 双向KV缓存传输

多轮智能体对话每轮都要把历史重新送进预填充节点，KV缓存此前只能从预填充单向流向解码节点，解码节点生成的缓存无法被回用。vLLM 引入双向 KV 传输，让解码节点保留并回传已算好的 KV 块，预填充节点按可配置阈值决定复用还是重算。在 1P1D 的 Amazon EC2 P5en 加 EFA 部署上，最长提示下 Qwen3-32B 的首字延迟降低约 1.6 倍，GLM-5-FP8 降低约 3.3 倍，效果随提示长度增长，具体取决于负载与配置。

多轮智能体对话每轮都要把历史重新送进预填充节点，KV缓存此前只能从预填充单向流向解码节点，解码节点生成的缓存无法被回用。vLLM 引入双向 KV 传输，让解码节点保留并回传已算好的 KV 块，预填充节点按可配置阈值决定复用还是重算。在 1P1D 的 Amazon EC2 P5en 加 EFA 部署上，最长提示下 Qwen3-32B 的首字延迟降低约 1.6 倍，GLM-5-FP8 降低约 3.3 倍，效果随提示长度增长，具体取决于负载与配置。