Hao Kang

面向编码、数学与计算机操作类智能体负载，Evolving Infra 把预填充与解码的算力分配同 KV 缓存管理解耦：节点不再重启即可在两种阶段间切换，KV 留在所有节点可读的共享池中。在最多 256 块 GB300 GPU 上，其平均端到端时延与 P95 首字时延相对 NVIDIA Dynamo 最多降低 4.1 倍和 14 倍，平均一次阶段切换耗时 6.2 秒，而 Dynamo 重启需 754 秒。

面向编码、数学与计算机操作类智能体负载，Evolving Infra 把预填充与解码的算力分配同 KV 缓存管理解耦：节点不再重启即可在两种阶段间切换，KV 留在所有节点可读的共享池中。在最多 256 块 GB300 GPU 上，其平均端到端时延与 P95 首字时延相对 NVIDIA Dynamo 最多降低 4.1 倍和 14 倍，平均一次阶段切换耗时 6.2 秒，而 Dynamo 重启需 754 秒。