跳到主要内容
检索

# 人-物交互

3 篇关联报道

订阅更新
  1. arXiv

    手部触觉不必再靠传感器:单目视频预测接触、距离与三维力,HOCap接触Macro-F1从18.0升到50.5

    TactoHand 把接触、接近距离和三维顶点力统一成手表面上的稠密场,只从单目视频推断,省去采集触觉数据所需的专用硬件。它用时间 Transformer 汇总跨帧视觉证据,并用可微刚体动力学把预测力与物体运动对齐。在未参与训练的 HOCap 上,其接触 Macro-F1 为 50.5,对比 HACO 的 18.0;物理监督把时间变体的滚动位置误差从 5.7 cm 降到 3.3 cm。

  2. arXiv

    COSMI用单物体动作捕捉合成22.2万段多物体交互数据,并训练出可生成1至5个物体的扩散模型

    COSMI提出把单物体人-物交互片段按接触一致性切分、镜像平衡左右手、再用语言模型与几何检查筛选可同时发生的组合,从而把单物体捕捉合成为多物体交互数据,得到22.2万段序列、275小时、最多5个物体的数据集(约为最大多物体捕捉数据集的近三十倍);并训练一个文本驱动的扩散Transformer,物体槽位共享权重、物体相对驱动它的身体关节预测,在留出未见物体与五种未见组合的基准上,其文本对齐与接触精度优于HIMO及多物体改造版MDM、PriorMDM,在未见物体上优势最大。

  3. arXiv

    OTRetarget 用最优传输把人类演示中的接触关系搬到 G1 人形机器人身上,机器人—物体交互 Jaccard 达 87%

    OTRetarget 提出一种联合重定向方法,用带符号距离、最近表面点和相对方向刻画表面交互,并通过熵正则最优传输把这些量在人体、机器人和物体几何之间迁移,再放入逐帧约束逆运动学中同时优化机器人与物体位姿;在 OMOMO 上机器人—物体交互 Jaccard 为 87%、深度误差 8.7 mm,对比 OmniRetarget 的 28% 与 29.3 mm,并在真实 Unitree G1 上完成双手搬箱放到桌面的任务。

已读完全部报道