手部触觉不必再靠传感器：单目视频预测接触、距离与三维力，HOCap接触Macro-F1从18.0升到50.5
核心概要
TactoHand 把接触、接近距离和三维顶点力统一成手表面上的稠密场，只从单目视频推断，省去采集触觉数据所需的专用硬件。它用时间 Transformer 汇总跨帧视觉证据，并用可微刚体动力学把预测力与物体运动对齐。在未参与训练的 HOCap 上，其接触 Macro-F1 为 50.5，对比 HACO 的 18.0；物理监督把时间变体的滚动位置误差从 5.7 cm 降到 3.3 cm。
深度剖析
手与物体、手与手、手与场景的交互现在可以用同一套手表面稠密场来描述，接触、接近距离和三维顶点力落在 MANO 手模型的对应顶点上，而输入只是单目视频。 此前的工作各自只覆盖其中一部分：HACO 预测稠密接触，InterField 估计手与物体的距离，HOPE 和 EgoPHI 从图像预测接触与法向压力或力。 在未参与训练的 HOCap 上，时间变体的接触 Macro-F1 为 50.5，HACO 为 18.0；在 DexYCB、HOCap 和 ARCTIC 上，时间变体的接触 Macro-F1 均高于 HACO。
模型把一段视频编码成逐帧特征，再由时间 Transformer 跨帧汇总，三个可学习查询分别解码接触、接近距离和力，双手在每个 10 Hz 时间戳上同时输出。 力以手表面局部切向与法向分量表示，再解析聚合成作用在物体上的合力和力矩，从而降低对相机朝向的敏感度。 训练数据来自 24 个数据集、约 5000 万帧，覆盖手与物体、手与手、手与场景；接触与接近标签由几何推导，力标签只在 15 个手与物体数据集上由物体运动推导。
可微刚体动力学层把预测的顶点力聚合成物体级合力矩，再向前积分物体运动，让运动误差回传到力预测。 物体运动只约束合力与合力矩，不能唯一确定力在手表面的分布，因此力标签先经几何、摩擦与时间约束正则化后再用于监督。 在 DexYCB 测试集上，时间变体开启物理监督后滚动位置误差从 5.7 cm 降到 3.3 cm，滚动角度误差从 45.2 度降到 29.4 度，有效力 MAE 从 126.4 mN 降到 122.7 mN。
启示与展望
评估覆盖 HOCap、ARCTIC、DexYCB 和 MOW 上的接触与接近误差、DexYCB 测试集上的力与滚动消融，以及 EasyHOI 和 ArtHOI 在 DexYCB、HOCap、MOW 上的重建改进；HOCap 不参与训练，用于跨数据集迁移。
几何推导的接触是依赖源几何与对齐的代理量，运动推导的顶点力是非唯一估计而非测量，并依赖质量、摩擦与环境支撑假设；运动级评估限于短时程、参考辅助的刚体滚动。