Hyesung Jeon

该工作提出免训练的 KV 缓存共享框架 PReCache，包含 PreLRShared 与 ReBaseShared 两种设计：前者在共享上下文首次被处理时为所有智能体预计算紧凑的智能体专属低秩缓存，从而免除后续智能体对已处理轨迹的重复 prefill；后者进一步用无适配器的隐藏状态重建共享基础缓存以降低对上一个智能体的依赖，并给出面向单流推理的 lazy prefill 与面向并发服务的 double batching 两种调度；在 LLaMA-3.1-8B-Instruct 与 Ministral-8B-Instruct 上、HotpotQA 与 ScienceQA 两个基准中，ReBaseShared 相对无缓存共享推理的平均精度

该工作提出免训练的 KV 缓存共享框架 PReCache，包含 PreLRShared 与 ReBaseShared 两种设计：前者在共享上下文首次被处理时为所有智能体预计算紧凑的智能体专属低秩缓存，从而免除后续智能体对已处理轨迹的重复 prefill；后者进一步用无适配器的隐藏状态重建共享基础缓存以降低对上一个智能体的依赖，并给出面向单流推理的 lazy prefill 与面向并发服务的 double batching 两种调度；在 LLaMA-3.1-8B-Instruct 与 Ministral-8B-Instruct 上、HotpotQA 与 ScienceQA 两个基准中，ReBaseShared 相对无缓存共享推理的平均精度

该工作提出 KVCMAS，一个面向提示特化多智能体系统的在线 KV 缓存校正框架：它把跨智能体缓存偏差表示为紧凑的低秩状态，并沿智能体工作流链式传递校正，从而无需额外的无上下文参考预填充，在语言与视觉语言负载上取得与既有 KV 缓存共享方法相当或更高的准确率，同时在 32K 共享 token、8 QPS 下相对无共享推理获得 2.0 倍 TTFT 加速，并把峰值 GPU 显存降到先前校正方法 KVComm 的最多 1/3.7。

该工作提出 KVCMAS，一个面向提示特化多智能体系统的在线 KV 缓存校正框架：它把跨智能体缓存偏差表示为紧凑的低秩状态，并沿智能体工作流链式传递校正，从而无需额外的无上下文参考预填充，在语言与视觉语言负载上取得与既有 KV 缓存共享方法相当或更高的准确率，同时在 32K 共享 token、8 QPS 下相对无共享推理获得 2.0 倍 TTFT 加速，并把峰值 GPU 显存降到先前校正方法 KVComm 的最多 1/3.7。