Taiga Ikeda

KV-Repurpose把大模型推理中的KV缓存复用从“必须前缀完全相同”改成按段独立判断，同一份检索文档即使前面换了系统提示、对话历史或时间戳，也能复用已算好的缓存。在30 GB缓存容量下，Zipf式RAG负载的token级命中率从前缀缓存的3.3%升到63.9%，首token延迟随之下降；单文档问答与摘要质量基本保持，跨文档推理则明显退化。

KV-Repurpose把大模型推理中的KV缓存复用从“必须前缀完全相同”改成按段独立判断，同一份检索文档即使前面换了系统提示、对话历史或时间戳，也能复用已算好的缓存。在30 GB缓存容量下，Zipf式RAG负载的token级命中率从前缀缓存的3.3%升到63.9%，首token延迟随之下降；单文档问答与摘要质量基本保持，跨文档推理则明显退化。