# NVIDIA Dynamo

NVIDIA 把开源运行时 Agent Substrate 捐入 CNCF 沙箱，用于在 Kubernetes 上安全运行大量沙箱化 AI 智能体。智能体大部分时间在等待提示、工具结果或模型回复，按会话常驻 Pod 会为闲置状态占用内存，按需建 Pod 又要在每一步付出数秒冷启动并丢失状态。Agent Substrate 用少量常驻工作 Pod 复用大量会话，空闲会话连同内存与文件系统被检查点保存，下次请求到来时恢复到任一空闲工作 Pod，项目方称其容器密度比标准容器高 10 倍。

NVIDIA 把开源运行时 Agent Substrate 捐入 CNCF 沙箱，用于在 Kubernetes 上安全运行大量沙箱化 AI 智能体。智能体大部分时间在等待提示、工具结果或模型回复，按会话常驻 Pod 会为闲置状态占用内存，按需建 Pod 又要在每一步付出数秒冷启动并丢失状态。Agent Substrate 用少量常驻工作 Pod 复用大量会话，空闲会话连同内存与文件系统被检查点保存，下次请求到来时恢复到任一空闲工作 Pod，项目方称其容器密度比标准容器高 10 倍。

NVIDIA 开源了 NVIDIA Snapshot，一个面向 Kubernetes 上 GPU 推理负载的检查点与恢复组件：它把已完全初始化的负载连同 CPU 与 GPU 内存一起存成可移植产物，在相同 GPU 型号与驱动的节点上恢复，从而跳过权重加载、编译与图捕获。在 vLLM、SGLang 和 TensorRT LLM 三个引擎、从 6 亿参数模型到 8 卡上 1 TB 检查点的 MoE 模型上，所有测试配置的副本恢复都在 45 秒以内，比冷启动快 8 到 36 倍。

NVIDIA 开源了 NVIDIA Snapshot，一个面向 Kubernetes 上 GPU 推理负载的检查点与恢复组件：它把已完全初始化的负载连同 CPU 与 GPU 内存一起存成可移植产物，在相同 GPU 型号与驱动的节点上恢复，从而跳过权重加载、编译与图捕获。在 vLLM、SGLang 和 TensorRT LLM 三个引擎、从 6 亿参数模型到 8 卡上 1 TB 检查点的 MoE 模型上，所有测试配置的副本恢复都在 45 秒以内，比冷启动快 8 到 36 倍。

英伟达把 AI 工厂的内存问题从“GPU 有多少容量”改成“每个字节产出多少有用 token”，用 NVFP4 压缩权重与 KV 缓存、宽专家并行分散 MoE 权重、Dynamo 复用 KV 缓存、Vera CPU 暂存工具调用期间的上下文、CMX 在机架级共享上下文存储。在回放真实编码智能体会话的 SemiAnalysis AgentX 上，每 GPU 同为 288 GB 的 Vera Rubin NVL72 在每用户 160 token/s 下，每兆瓦吞吐最高达到 GB300 NVL72 的 30 倍。

英伟达把 AI 工厂的内存问题从“GPU 有多少容量”改成“每个字节产出多少有用 token”，用 NVFP4 压缩权重与 KV 缓存、宽专家并行分散 MoE 权重、Dynamo 复用 KV 缓存、Vera CPU 暂存工具调用期间的上下文、CMX 在机架级共享上下文存储。在回放真实编码智能体会话的 SemiAnalysis AgentX 上，每 GPU 同为 288 GB 的 Vera Rubin NVL72 在每用户 160 token/s 下，每兆瓦吞吐最高达到 GB300 NVL72 的 30 倍。