世界模型开始闭环：Transfer-Auto参考运行在四块GPU上产出七路720p视频与99帧激光雷达
核心概要
英伟达把世界基础模型的训练、优化与推理打包成 Cosmos Framework，并配上一组可由 AI 智能体调用的技能和可直接运行的检查点。此前开发者要把模型适配到自己的传感器、动作空间和数据上，再让它稳定地进到应用里，两件事各自都要重做一遍。新放出的 Cosmos 3 Nano 仿真配方覆盖自动驾驶、机器人和手术三类场景：Transfer-Auto 参考运行在四块 GPU 上生成七路 720p 视频与 99 帧激光雷达，Sim-Auto 则把它蒸馏成少步因果模型，按驾驶策略的输入逐步生成观测并回送给策略，用于闭环评估。
深度剖析
英伟达把世界模型的训练、优化和推理收进一套开放且完全模块化的框架 Cosmos Framework，并让 AI 智能体能直接调用其中的技能与配方。 此前做物理 AI 的开发者要面对两件彼此独立的事：把世界模型适配到自己的传感器、任务和数据，以及把模型可靠地送进应用，每一步都得自己从头搭。 适配范围已从 Cosmos 3 扩到 NVIDIA Alpamayo、GR00T、Qwen、pi0.5 与其他兼容的 Hugging Face 模型，仿真侧同时放出覆盖自动驾驶、机器人、手术三类场景的推理配方和示例检查点。
这些仿真检查点读的是一份可改的场景描述：World Scenario Map 把车道、物体、路面标线、交通标志和道路边界写成控制量，提示词补充天气、光照、时段与路面状况。 Cosmos3-Nano-Transfer-Auto 走双向生成，一次把整段多视角片段去噪完，用于离线合成数据；Cosmos3-Nano-Sim-Auto 是它的因果少步蒸馏版本，边接收动作边自回归出帧。 参考配置用七路同步的 WSM 视频、逐相机文本、首帧 RGB 条件与 HD 地图激光雷达控制，在四块 GPU 上跑出七路 720p、297 帧 30 fps 视频和 99 帧激光雷达。
启示与展望
已演示的范围是仿真侧的三类场景：自动驾驶的多路相机加激光雷达生成与闭环 rollout、机器人双臂交互与深度视频到 RGB 的转换、以及在 Open-H-Embodiment 上后训练的手术世界模型。这些检查点支持 PyTorch 与 vLLM-Omni，在 NVIDIA Hopper 和 Blackwell GPU 上测试过。材料给出的起点是从与任务匹配的仿真检查点出发，复现参考流程，再适配到自己的传感器、动作与数据。
加速数字属于推测解码在 H200 上测得的约 2–3 倍平均加速，限定于这块 GPU 与该解码配置。部署配置也有前提：吞吐档需要 2、4 或 8 块兼容 GPU，把单 GPU 示例只把 NIM_PERF_PROFILE 改成吞吐会选不到该档。