Agent Substrate 捐入 CNCF 沙箱：闲置智能体会话换出，项目方称容器密度可达 10 倍
核心概要
NVIDIA 把开源运行时 Agent Substrate 捐入 CNCF 沙箱，用于在 Kubernetes 上安全运行大量沙箱化 AI 智能体。智能体大部分时间在等待提示、工具结果或模型回复，按会话常驻 Pod 会为闲置状态占用内存，按需建 Pod 又要在每一步付出数秒冷启动并丢失状态。Agent Substrate 用少量常驻工作 Pod 复用大量会话，空闲会话连同内存与文件系统被检查点保存，下次请求到来时恢复到任一空闲工作 Pod，项目方称其容器密度比标准容器高 10 倍。
深度剖析
智能体工作负载不再需要为每个会话保留一个常驻 Pod，也不必在每一步重建沙箱，大量会话可以共享一小池已就绪的工作 Pod。 此前平台团队只有两种选择：为每个智能体保留一个热 Pod，为几乎全程闲置的算力付费；或者按需创建 Pod，在每一步承担冷启动代价。 按需创建 Pod 要经过 API 服务器、准入、etcd、调度器、kubelet、镜像拉取和网络配置，耗时以秒计，对每秒数百次、每次只跑约 10 毫秒 bash 命令的沙箱来说太慢。
会话空闲时被整体换出沙箱，其内存和文件系统状态被保存，工作 Pod 随即释放给其他会话使用。 唤醒会话不再需要重新经过 API 服务器、调度器或 kubelet，而是直接恢复到某个已存在的工作 Pod 上。 工作 Pod 仍是普通 Kubernetes Pod，因此集群调度、配额和放置策略照常生效；沙箱可以是 gVisor 或 microVM。
推理侧与执行侧分工：Agent Substrate 管理智能体环境的高频生命周期，NVIDIA Dynamo 管理推理的高性能生命周期，两者交换推理状态信号。 传统推理路由把每次模型调用当作独立请求，而智能体的一次请求只是更长循环中的一步，连续请求常复用同一系统提示、工具定义和对话历史。 Dynamo 可回传预计首 token 时间、预计完成时间、请求进度、缓存就绪度和 GPU 池饱和度，Agent Substrate 据此决定让 Actor 保持驻留、在较长推理等待中挂起，或在回复临近时恢复。
启示与展望
文章面向在 Kubernetes 上构建智能体平台、编码助手或强化学习环境的工程师，描述的是开源运行时及其与 Dynamo、KAI Scheduler 的配合方式；GPU 支持正在基于 DRA 重建，Dynamo 集成部分仍属实验性。
Agent Substrate 仍在演进，API 还在变化，GPU 支持正基于新的 DRA 基础重建，Dynamo 智能体集成的一部分仍是实验性的；GPU 检查点通常只能恢复到同一型号 GPU，有时还要求相同驱动版本。