英伟达开放Cosmos 3四个检查点：驾驶与双臂机器人能按动作生成下一帧观测
核心概要
英伟达Cosmos世界模型开发平台新增四个开放权重检查点，均由Cosmos 3 Nano后训练而来、各含160亿可训练参数，分别用于多视角驾驶数据生成、相机与激光雷达同步的流式驾驶仿真、把模拟器控制渲染成逼真画面，以及按双臂机器人动作预测视频。四个检查点连同四阶段后训练配方一起发布，采用允许商用与非商用的OpenMDW1.1许可；官方同时指出，这些模型在策略学习与评估中何处可靠、边界何在仍待测量。
深度剖析
驾驶与机器人研究者现在可以下载四个开放权重的Cosmos 3检查点，用它们生成随动作变化的观测，而不必只依赖固定录制的数据。 Cosmos世界模型开发平台此前提供的是Cosmos 3模型家族，这次新增的是四个开放权重检查点，并同时给出后训练配方。 四个模型都是Cosmos 3 Nano的后训练示例，各含160亿可训练参数，采用OpenMDW1.1许可，官方同时提供检查点下载、技术报告与演示。
流式生成把视频预测接到持续交互上：模型按提示、可用控制量和已生成的历史，逐段预测下一小段画面。 Cosmos 3的Mixture-of-Transformers主干用注意力连接独立的文本处理网络与视觉生成网络，时间因果注意力只读历史与控制、屏蔽未来的目标观测。 模型在压缩视频表示上工作，初始图像之后每个潜变量时间步代表四帧RGB；Transfer每个块预测一步，报告中优化的Bimanual配置预测两步。
四个检查点分工明确：Transfer-Auto做离线合成驾驶数据，Sim-Auto是其因果蒸馏后的流式版本，Sim-Transfer把模拟器控制渲染成RGB，Sim-Bimanual直接由双臂动作预测下一观测。 Sim-Auto用生成的历史和更新后的驾驶控制，在少数几步去噪内产出连续的相机视频与激光雷达数据块。 Transfer-Auto可生成最多11路相机视角的同步视频并支持RGB与激光雷达联合生成；Sim-Bimanual支持YAM与AgiBot两种双臂本体，可由策略或手柄操控。
启示与展望
已展示的范围是四个开放权重检查点的推理与后训练路径：Transfer-Auto面向离线合成驾驶数据，Sim-Auto面向流式驾驶仿真，Sim-Transfer面向由模拟器控制生成RGB，Sim-Bimanual面向YAM与AgiBot双臂本体。运行要求为Linux、NVIDIA GPU、Docker与NVIDIA Container Toolkit，公布的vLLM-Omni配置在一块GB200上测试过，官方说明这不是最低显存规格。
官方明确指出这些模型在策略学习与评估中何处可靠、其局限何在仍待测量，并称改进不足之处是后续工作；短程训练成功只验证流程可执行，不代表收敛，质量需在留出片段上评估。