英伟达发布Cosmos3-H-Dreams：用临床胆囊切除录像训练实时生成式手术模拟器
核心概要
英伟达发布Cosmos3-H-Dreams，把交互式生成模拟从桌面缝合任务推进到临床手术场景。此前的Cosmos-H-Dreams在dVRK桌面缝合上从同步视频与机器人运动学学习视觉动态；新模型改用CMR Surgical Versius平台临床胆囊切除录像与运动学训练，以Cosmos 3为基础、经FlashDreams加速，在单块RTX PRO 6000 GPU上实时运行，并提供四步与两步去噪两个检查点。
深度剖析
生成式手术模拟的适用范围从桌面缝合扩展到人体内的临床胆囊切除场景，操作器械在生成画面中随控制指令运动。 此前的Cosmos-H-Dreams在dVRK桌面缝合这一基础验证场景上实现交互式生成模拟，器械面对的是相对简单的背景。 新模型从CMR Surgical Versius平台临床手术中录制的视频与机器人运动学学习，据发布方称是首个用临床胆囊切除录像训练、支持实时运动学控制的生成式手术模拟器。
模型以初始图像和工具动作为条件，逐块生成后续视频，并让组织形变、遮挡与器械外观在长时间推演中保持一致。 方法上不再显式建模场景几何、组织形变与物理交互，而是直接从同步视频和机器人运动学中学习视觉动态。 训练使用832×480视频、动作以10 Hz对齐，共28个动作维度，涵盖双臂位姿与夹爪、能量控制以及摇杆轴与按键；教师先在24帧上适配，再扩展到72帧，即10 Hz下2.4秒与7.2秒。
实时交互依赖把双向教师蒸馏为按新动作分块生成的因果学生模型，并用流式运行时管理长推演的注意力历史。 长推演中误差会累积，逐渐改变器械几何或解剖结构，因此需要针对自生成上下文训练。 因果教师强制先用录制上下文准备顺序生成，Self-Forcing再以教师和学到的评判器在自生成上下文上训练；FlashDreams提供加速流式运行时，改造后的FadeMem模块在长推演中合并不断增长的键值缓存。
启示与展望
展示范围是临床胆囊切除场景下由两个受控器械驱动的实时生成推演，运行在单块NVIDIA RTX PRO 6000 GPU上；发布方明确它是研究用模拟器，不是经过验证的病人照护系统。
视觉真实只是验证的起点，并不证明生物力学准确性；生成画面还必须跟随平移、旋转与夹爪指令。去噪步数减少会加快推理但降低视觉质量，两个检查点供开发者权衡。