跳到主要内容
检索

# KVCMAS

1 篇关联报道

订阅更新
  1. arXiv

    KVCMAS 用低秩锚点池与链式校正共享多智能体 KV 缓存,在 32K 共享上下文、8 QPS 下把 TTFT 相对无共享推理提速 2.0 倍,并把峰值显存降到 KVComm 的约 1/3.7

    该工作提出 KVCMAS,一个面向提示特化多智能体系统的在线 KV 缓存校正框架:它把跨智能体缓存偏差表示为紧凑的低秩状态,并沿智能体工作流链式传递校正,从而无需额外的无上下文参考预填充,在语言与视觉语言负载上取得与既有 KV 缓存共享方法相当或更高的准确率,同时在 32K 共享 token、8 QPS 下相对无共享推理获得 2.0 倍 TTFT 加速,并把峰值 GPU 显存降到先前校正方法 KVComm 的最多 1/3.7。

已读完全部报道