Haoran Qiu

按步路由的智能体每次换模型，目标模型都要重新预填整段上下文，前缀命中率从同模型调用的80–89%跌到44–65%。ShadowPrefill在路由器未选中的模型上，用正常流量实例的空闲容量提前预填会话上下文，让下一次切换直接命中缓存。在24个模型对、五个智能体基准上，切换调用延迟降低8.5–21.4%，路由token成本降低22.5–46.1%，正常流量的SLO不受影响，每请求能耗上升0.4%。

按步路由的智能体每次换模型，目标模型都要重新预填整段上下文，前缀命中率从同模型调用的80–89%跌到44–65%。ShadowPrefill在路由器未选中的模型上，用正常流量实例的空闲容量提前预填会话上下文，让下一次切换直接命中缓存。在24个模型对、五个智能体基准上，切换调用延迟降低8.5–21.4%，路由token成本降低22.5–46.1%，正常流量的SLO不受影响，每请求能耗上升0.4%。