# NVIDIA Snapshot

NVIDIA 开源了 NVIDIA Snapshot，一个面向 Kubernetes 上 GPU 推理负载的检查点与恢复组件：它把已完全初始化的负载连同 CPU 与 GPU 内存一起存成可移植产物，在相同 GPU 型号与驱动的节点上恢复，从而跳过权重加载、编译与图捕获。在 vLLM、SGLang 和 TensorRT LLM 三个引擎、从 6 亿参数模型到 8 卡上 1 TB 检查点的 MoE 模型上，所有测试配置的副本恢复都在 45 秒以内，比冷启动快 8 到 36 倍。

NVIDIA 开源了 NVIDIA Snapshot，一个面向 Kubernetes 上 GPU 推理负载的检查点与恢复组件：它把已完全初始化的负载连同 CPU 与 GPU 内存一起存成可移植产物，在相同 GPU 型号与驱动的节点上恢复，从而跳过权重加载、编译与图捕获。在 vLLM、SGLang 和 TensorRT LLM 三个引擎、从 6 亿参数模型到 8 卡上 1 TB 检查点的 MoE 模型上，所有测试配置的副本恢复都在 45 秒以内，比冷启动快 8 到 36 倍。