微创手术的视觉-语言-动作模型和世界模型需要大规模三维监督，但公开手术数据集多来自离体或仿真场景，且只标注组织或器械之一，缺少工具与组织接触区域的标注。SurgTAP-3D从无标定的单目手术视频出发，用接触区域提示、活动器械分割、动态光束法平差和全局4D优化生成伪尺度的相机位姿、深度与二维/三维点轨迹，汇集4549段动作片段、519642帧和约138万条轨迹，覆盖机器人手术与手动手术。在SurgT、SurgPose和STIR三个基准上，该流程的三维跟踪平均AJ3D为56.57，高于表中对比方法。
手术机器人要在遮挡下预判器械动作会把组织推成什么样，此前用可微物理仿真直接预测组织的绝对位置，重建误差、初始化和仿真偏移会让整块表面持续错位。现在改为把每个组织点锚定在它最后一次有效观测上，只预测已知未来器械轨迹带来的形变增量，物理模型用无网格位置动力学并逐场景辨识刚度、附着与抓持耦合。在12段手术操作视频上，参照式预测相对持久性基线的片段内误差比中位数为0.912，95%区间0.787–1.070，12段中8段改善，区间包含持平。
该工作提出Surgical Action World（SAW），把视频到视频扩散重构为轨迹条件的手术动作合成，仅以语言提示、参考首帧、组织可操作区域掩码和2D器械尖端轨迹四个轻量信号为条件，在自建的12,044段腹腔镜视频片段上微调LTX-Video并引入深度一致性损失，在留出测试集上取得CD-FVD 199.19（对比SurgSora的546.82）与FVD 224.28，并展示用生成视频增强稀缺动作后真实测试集上动作识别F1提升（clipping 20.93%→43.14%，cutting 0.00%→8.33%），以及从仿真器导出轨迹渲染器械-组织交互视频的初步可行性。
已读完全部报道