# PReCache KV缓存共享框架

该工作提出免训练的 KV 缓存共享框架 PReCache，包含 PreLRShared 与 ReBaseShared 两种设计：前者在共享上下文首次被处理时为所有智能体预计算紧凑的智能体专属低秩缓存，从而免除后续智能体对已处理轨迹的重复 prefill；后者进一步用无适配器的隐藏状态重建共享基础缓存以降低对上一个智能体的依赖，并给出面向单流推理的 lazy prefill 与面向并发服务的 double batching 两种调度；在 LLaMA-3.1-8B-Instruct 与 Ministral-8B-Instruct 上、HotpotQA 与 ScienceQA 两个基准中，ReBaseShared 相对无缓存共享推理的平均精度

该工作提出免训练的 KV 缓存共享框架 PReCache，包含 PreLRShared 与 ReBaseShared 两种设计：前者在共享上下文首次被处理时为所有智能体预计算紧凑的智能体专属低秩缓存，从而免除后续智能体对已处理轨迹的重复 prefill；后者进一步用无适配器的隐藏状态重建共享基础缓存以降低对上一个智能体的依赖，并给出面向单流推理的 lazy prefill 与面向并发服务的 double batching 两种调度；在 LLaMA-3.1-8B-Instruct 与 Ministral-8B-Instruct 上、HotpotQA 与 ScienceQA 两个基准中，ReBaseShared 相对无缓存共享推理的平均精度