智能体推理服务不再重启换相：Evolving Infra 让节点原地切换，切换耗时从754秒降到6.2秒
核心概要
面向编码、数学与计算机操作类智能体负载，Evolving Infra 把预填充与解码的算力分配同 KV 缓存管理解耦：节点不再重启即可在两种阶段间切换，KV 留在所有节点可读的共享池中。在最多 256 块 GB300 GPU 上，其平均端到端时延与 P95 首字时延相对 NVIDIA Dynamo 最多降低 4.1 倍和 14 倍，平均一次阶段切换耗时 6.2 秒，而 Dynamo 重启需 754 秒。
深度剖析
智能体负载下，推理集群可以在不重启服务进程的前提下改变预填充与解码节点的配比，切换期间被切换节点的 KV 缓存仍然可被其他节点读取。 此前的预填充—解码分离系统把每个节点的 KV 缓存绑定在该节点的阶段上，改变配比要么重启工作进程，要么让被切换节点的缓存失效。 在 36 块 GB300 GPU 上服务 GLM-5.2 与 Kimi K2.6，Evolving Infra 平均一次阶段切换耗时 6.2 秒，Dynamo 重启平均需 754 秒，且后者在整个切换期间不服务请求。
每个节点运行同一套既能做预填充又能做解码的引擎，所有节点的主机内存被汇成一个共享 KV 池，集群级目录记录每个缓存块被多少条活跃分支引用。 共享池让预填充节点通过 RDMA 直接从对端主机内存取回 KV，并在请求排队期间完成取回与载入显存，而不是等到预填充开始才逐层加载。 在 Claude Code 轨迹、126 个并发智能体的固定 4P5D 配比下，异步取回把预填充节点的 GPU 空闲时间从 23.6% 降到 14.4%，吞吐为上游 SGLang 的 1.12 倍。
在线规划器用在线拟合的迭代时间模型估计每种配比的吞吐，模型把已缓存前缀与未缓存 token 分开计算，只在预测增益跨过统计阈值时才切换。 既有规划器依赖队列深度、KV 利用率或按完整输入长度预测首字时延等粗粒度信号，子智能体同时启动造成的短时突发会触发无收益的切换。 在从数学智能体转向计算机操作智能体的三小时变负载运行中，Evolving Infra 吞吐为 Dynamo 的 2.14 倍、最佳静态配比的 1.28 倍，平均端到端时延相对两者分别降低 2.15 倍和 1.33 倍。
启示与展望
演示范围是 36 块 GB300 GPU 上服务 GLM-5.2 与 Kimi K2.6 的编码、数学与计算机操作智能体，另在 256 块 GB300 GPU 上以及 3,072 块 GPU 的模拟中做了扩展评估；分支计数依赖智能体框架为每个请求标注分支 ID 并报告分支结束。
在开放到达的重放中，Evolving Infra 在每分钟 0.75 个智能体时未达时延目标，原因是第 75 分钟的一次规划器切换使预填充请求排队，直到第 85 分钟才补回预填充节点；在 Putnam 这类解码为主的负载上，规划器只保留一到两个预填充节点，以吞吐换取了高于 Dynamo 的 P95 首字时延。