# 三维点跟踪

微创手术的视觉-语言-动作模型和世界模型需要大规模三维监督，但公开手术数据集多来自离体或仿真场景，且只标注组织或器械之一，缺少工具与组织接触区域的标注。SurgTAP-3D从无标定的单目手术视频出发，用接触区域提示、活动器械分割、动态光束法平差和全局4D优化生成伪尺度的相机位姿、深度与二维/三维点轨迹，汇集4549段动作片段、519642帧和约138万条轨迹，覆盖机器人手术与手动手术。在SurgT、SurgPose和STIR三个基准上，该流程的三维跟踪平均AJ3D为56.57，高于表中对比方法。

微创手术的视觉-语言-动作模型和世界模型需要大规模三维监督，但公开手术数据集多来自离体或仿真场景，且只标注组织或器械之一，缺少工具与组织接触区域的标注。SurgTAP-3D从无标定的单目手术视频出发，用接触区域提示、活动器械分割、动态光束法平差和全局4D优化生成伪尺度的相机位姿、深度与二维/三维点轨迹，汇集4549段动作片段、519642帧和约138万条轨迹，覆盖机器人手术与手动手术。在SurgT、SurgPose和STIR三个基准上，该流程的三维跟踪平均AJ3D为56.57，高于表中对比方法。

TrackEverything 把视频表示为世界坐标系下持久化的 3D 场景轨迹，通过滑窗边界上的体素化去重、先端点后轨迹的分解以及 3D WAFT 特征采样，在 40 GB 显存内首次实现对超过 1000 帧视频中全部可见点的稠密 3D 跟踪，在 TAPVid-3D 短片段上比所有开源全帧稠密 3D 跟踪器高出 20% 以上 APD，并在长序列上与最先进稀疏跟踪器保持竞争力。

TrackEverything 把视频表示为世界坐标系下持久化的 3D 场景轨迹，通过滑窗边界上的体素化去重、先端点后轨迹的分解以及 3D WAFT 特征采样，在 40 GB 显存内首次实现对超过 1000 帧视频中全部可见点的稠密 3D 跟踪，在 TAPVid-3D 短片段上比所有开源全帧稠密 3D 跟踪器高出 20% 以上 APD，并在长序列上与最先进稀疏跟踪器保持竞争力。