InfiniHand 用单一流式前馈网络从第一视角视频同时估计手部与相机轨迹,ARCTIC 上 PA-p 降至 7.72 毫米、吞吐达 11.19 FPS
核心概要
InfiniHand 是一个端到端流式前馈框架,直接从无标定的第一视角视频联合估计 MANO 参数、相机轨迹与手部位置,在约 5000 小时聚合第一视角数据上分两阶段训练,在 ARCTIC 上把 PA-p 相对 ViDiHand 降低 21.4%(9.82 降至 7.72 毫米),在 EgoDex 上把 W-MPJPE 相对 Dyn-HaMR 从 78.41 降至 28.77 毫米,并以 11.19 FPS 运行,吞吐超过 HaWoR 两倍以上。
深度剖析
该工作把此前需要级联多个独立模块的任务——手部定位、MANO 参数预测与相机轨迹估计——统一进一个流式前馈架构,直接从未标定的第一视角视频输出世界坐标下的手部运动。 论文指出既有方案(如 HaWoR 组合手部检测跟踪、相机空间手部重建网络与 DROID-SLAM 加 Metric3D)依赖级联独立估计器与 SLAM,会带来误差累积、流程复杂与算力开销;InfiniHand 改为在共享时空表示中显式耦合全局相机运动与局部手部关节。 摘要与引言给出架构层面的统一性说明,并在方法中描述手部掩码定位、双流特征融合、MANO 回归与相机头联合解码的具体流程;消融显示去掉第二阶段联合训练后 W-MPJPE 从 59.21 升至 185.76 毫米,支持联合建模对世界坐标估计的作用。
在相机空间重建上,InfiniHand 在四个数据集上取得最低 PA-p,其中 ARCTIC 从 ViDiHand 的 9.82 毫米降至 7.72 毫米(21.4%),EgoDex 从 17.22 毫米降至 7.29 毫米(57.7%)。 相对 ViDiHand 等依赖视频扩散先验的方法,该结果把误差下降归因于手部中心外观特征与几何特征的融合,以及基于可微最小二乘投影的平移求解。 表 1 覆盖 ARCTIC、HOT3D、EgoDex、HOI4D 四个基准,与 InterWild、HaMeR、Hamba、WildHands、OmniHands、WiLoR、Dyn-HaMR、HaWoR、ViDiHand 对比;消融显示移除 WiLoR 特征使 MP-p 从 17.09 升至 33.31 毫米,替换为 HaWoR 掩码使 PA-p 从 7.72 升至 25.50 毫米。
在世界坐标重建上,InfiniHand 在三个数据集上取得最低 W-MPJPE,ARCTIC 相对 WiLoR-SLAM 从 65.86 降至 59.21 毫米(10.1%),EgoDex 相对 Dyn-HaMR 从 78.41 降至 28.77 毫米(63.3%)。 论文把这一改善归因于流式轨迹记忆之外的稀疏 bundle adjustment 后端,它通过二值关键帧池让优化重新访问历史观测,从而抑制长序列漂移。 表 2 与 HaWoR、Dyn-HaMR、WiLoR-SLAM 对比;消融显示关闭稀疏 BA 后 W-MPJPE 从 59.21 升至 80.48 毫米,而相机空间指标不变,说明其作用集中在全局重建。
效率上,InfiniHand 达到 11.19 FPS,高于 WiLoR-SLAM 的 8.53 FPS、HaWoR 的 5.48 FPS 与 Dyn-HaMR 的 0.81 FPS,吞吐超过 HaWoR 两倍以上。 论文说明该效率来自复用流式特征与跨时间窗口的重叠执行:两个主 worker 分别处理即将到来的 16 帧窗口与解码前一窗口,第三个 worker 在后台按需运行稀疏 BA。 效率对比在标准计时协议下给出,并配有流水线执行方式的实现说明;论文同时指出后台 BA 仍会带来额外计算。
启示与展望
该结果面向需要从第一视角视频获取世界坐标手部运动的研究与工程场景,例如为具身学习生成 3D 手部演示、做人到手运动迁移或操作策略学习的数据标注。论文的评估设定包括 ARCTIC、HOT3D、EgoDex、HOI4D 的相机空间基准,ARCTIC、HOT3D、EgoDex 的世界坐标基准,以及 Ego4D 上的定性野外评估;训练语料为约 5000 小时、来自九个公开第一视角数据集的聚合数据,帧率统一采样为 10 FPS。方法层面,它建立在流式 3D 基础模型 LingBot-Map 之上,并保留一个轻量稀疏 bundle adjustment 作为后优化,因此适用于可接受流式推理加周期性后台优化的部署环境。
论文自述的局限值得作为后续观察点:底层 LingBot-Map 缺乏固有度量尺度,需要辅助后处理对齐模型,其误差会传播到手部位置与全局轨迹;高质量、包含大幅度双手交互与剧烈相机运动的第一视角数据仍然稀缺,限制了在快速视角变化、严重遮挡与手部间歇可见场景下的泛化;单目管线常继承来自单目标注的时变尺度漂移,使长序列轨迹精度与时间平滑性受影响。此外,本次读取的是论文正文与附录文本,图表为文字描述而非原始图像,因此定性对比(如遮挡下的手指关节精度、双手朝向与参考轨迹的一致性)只能依据文字陈述理解,具体视觉细节仍需查看原文图 3 至图 6。
