手术视频有了4D标注：SurgTAP-3D把52万帧单目画面变成百万条三维轨迹
核心概要
微创手术的视觉-语言-动作模型和世界模型需要大规模三维监督，但公开手术数据集多来自离体或仿真场景，且只标注组织或器械之一，缺少工具与组织接触区域的标注。SurgTAP-3D从无标定的单目手术视频出发，用接触区域提示、活动器械分割、动态光束法平差和全局4D优化生成伪尺度的相机位姿、深度与二维/三维点轨迹，汇集4549段动作片段、519642帧和约138万条轨迹，覆盖机器人手术与手动手术。在SurgT、SurgPose和STIR三个基准上，该流程的三维跟踪平均AJ3D为56.57，高于表中对比方法。
深度剖析
公开的手术运动数据集此前大多采集于离体或仿真环境，且往往只覆盖单一术式或单一采集方式，标注对象也限于组织或器械之一，工具与组织接触区域没有被单独标出。 SurgTAP-3D把来源扩展到活体手术视频，同时纳入机器人手术与手动手术，并把胆囊切除、前列腺切除、胃旁路、子宫切除、直肠切除等术式统一到五个动作类别下。 数据集汇总了4549段片段、519642帧和1376987条轨迹，每段片段附带相机内参、位姿、深度、器械分割以及二维和三维点轨迹。
这些标注不是人工逐帧勾画，而是由一条把基础模型先验与几何优化串起来的流程自动生成。 流程先用SAM2从首帧的接触区域框和正负点提示得到活动器械掩膜，用TAPNext得到二维点跟踪，用Endo3R估计深度、相机位姿和内参。 随后动态光束法平差以这些预测为初值，联合优化关键帧位姿、内参和深度，全局4D优化再用光流一致性、器械表面约束、关节式ARAP正则和时间平滑约束修正轨迹。
在公开基准上，这条流程的跟踪与深度结果优于表中列出的对比方法。 对比覆盖三类方法：仅用RGB的二维跟踪器、用RGBD在相机坐标下跟踪的方法，以及用RGBD加相机位姿在全局坐标下跟踪的方法。 三维跟踪在SurgT、SurgPose、STIR上的平均AJ3D为56.57、APD3D为64.77，表中次高的TAPNext平均AJ3D为55.69；深度估计的Abs Rel在SCARED上从Endo3R的0.124降到0.103，在Hamlyn上从0.170降到0.156。
启示与展望
演示范围是活体微创手术的单目视频，覆盖机器人手术与手动手术、五个统一动作类别，标注为伪尺度几何；作者指出，若用于机器人工作空间的度量推理，还需额外标定。
作者说明，单目重建得到的几何只在序列内一致、尺度为伪尺度；在器械长时间消失、严重遮挡和快速运动时，轨迹可能丢失、漂移或时间上不稳定，组织牵拉、持针和凝血等类别更易出现。标注质量以存活率、器械掩膜一致性、时间平滑率和跟踪置信度四项内部一致性指标衡量，作者明确这些指标不是几何精度的直接度量。