跳到主要内容

# 大语言模型服务

2 篇关联报道

arXiv 2026年11月10日
模型切换不再丢掉前缀缓存：ShadowPrefill借空闲算力预热，切换调用延迟最多降21.4%
按步路由的智能体每次换模型，目标模型都要重新预填整段上下文，前缀命中率从同模型调用的80–89%跌到44–65%。ShadowPrefill在路由器未选中的模型上，用正常流量实例的空闲容量提前预填会话上下文，让下一次切换直接命中缓存。在24个模型对、五个智能体基准上，切换调用延迟降低8.5–21.4%，路由token成本降低22.5–46.1%，正常流量的SLO不受影响，每请求能耗上升0.4%。
按步路由的智能体每次换模型，目标模型都要重新预填整段上下文，前缀命中率从同模型调用的80–89%跌到44–65%。ShadowPrefill在路由器未选中的模型上，用正常流量实例的空闲容量提前预填会话上下文，让下一次切换直接命中缓存。在24个模型对、五个智能体基准上，切换调用延迟降低8.5–21.4%，路由token成本降低22.5–46.1%，正常流量的SLO不受影响，每请求能耗上升0.4%。
Haoran Qiu（第一作者）
ShadowPrefill 模型路由前缀缓存大语言模型服务
arXiv 2026年11月9日
大模型预填、小模型解码：BridgeKV 把提示缓存翻译过去，单张 A40 上请求快 3.0 倍
BridgeKV 让同一模型家族里的大模型只做一次预填，再由一个轻量 KV 拼接模块把大模型的提示缓存翻译成小模型的原生缓存布局，之后每个输出 token 只由小模型生成。在六个模型对、五个数据集共 30 个设置上，它的得分都高于可训练参数量匹配的微调小模型基线，最多补上与大模型两阶段推理之间 80% 的质量差距。单张 A40 上，Llama-3.1-Instruct-8B→Llama-3.2-Instruct-1B 处理 1K 提示、256 输出 token 用时 2.96 秒，接近小模型单独运行的 2.80 秒，比大模型单独运行的 8.83 秒快 3.0 倍。
BridgeKV 让同一模型家族里的大模型只做一次预填，再由一个轻量 KV 拼接模块把大模型的提示缓存翻译成小模型的原生缓存布局，之后每个输出 token 只由小模型生成。在六个模型对、五个数据集共 30 个设置上，它的得分都高于可训练参数量匹配的微调小模型基线，最多补上与大模型两阶段推理之间 80% 的质量差距。单张 A40 上，Llama-3.1-Instruct-8B→Llama-3.2-Instruct-1B 处理 1K 提示、256 输出 token 用时 2.96 秒，接近小模型单独运行的 2.80 秒，比大模型单独运行的 8.83 秒快 3.0 倍。
Georgia Institute of Technology
Payman Behnam（第一作者、通讯作者）
BridgeKV KV缓存传输大语言模型服务

已读完全部报道