景联文发布双目EGO+EMG人手交互数据集:1170个真实任务补上逐指力觉标注
核心概要
景联文科技发布双目EGO+EMG多模态人手交互数据集,面向灵巧操作中力觉与肌肉信号数据稀缺的问题。数据集覆盖28个领域、1170个真实任务,在双目第一视角视频与手部姿态之外,加入16通道表面肌电和双手各5通道的逐指力估计,并给出多模态同步偏差小于3毫秒等管线指标。逐指力觉由Fusion2Force融合模型推断,而非直接测量,使用时需连同接触掩码与有效性标志一起解读。
深度剖析
公开的人手交互数据从以视觉和手部位姿为主,扩展到同时包含肌肉信号与逐指力估计,使按压、插拔、精密装配这类强接触操作有了力监督信号。 主流第一视角数据集大多只覆盖视觉与手部位姿,缺少把动作、发力与任务语义放在一起的标注,机器人因此只能复刻手部运动轨迹,难以学习真实的接触交互逻辑。 数据集覆盖28个领域、合计1170个真实任务,全部为真人在真实环境中的第一视角操作,采集时双腕佩戴肌电手环。
采集管线把双目第一视角视觉、16通道表面肌电与IMU放在同一条时间线上,同步输出力、姿态、语义三类标注。 逐指力觉不是直接测得的,而是由Fusion2Force融合模型从肌电等信号推断,双手各5通道、共10通道,单位为毫牛,并附1Hz接触掩码与有效性标志。 官方管线指标给出多模态同步偏差小于3毫秒、关节角平均绝对误差3.37度、指关节距离误差4.2毫米、力量级误差小于20%。
交付侧配套双目立体标定文件与帧级对齐,数据以LeRobot v3.0格式提供,采用Parquet与MP4存储。 双目视频由3840×1080拼接源同帧切分,左右零偏移;每条episode附带源文件SHA256指纹,便于审计溯源。 配套35套双目立体标定文件,含内参、畸变系数与外参旋转平移矩阵,基线约60毫米;抽验11路视频帧数与声明100%一致。
启示与展望
数据集面向科研机构、机器人企业与算法团队,用于视觉语言动作模型训练、手部感知算法评测、灵巧手与双臂机器人模仿学习、遥操作与数采方案评估以及具身智能评测基准构建;全部数据为真人在真实环境中的第一视角操作,覆盖28个领域、1170个真实任务。
逐指力觉由Fusion2Force融合模型推断,力量级误差小于20%,并非直接测量;使用时应结合1Hz接触掩码与有效性标志判断可用性。同步偏差、关节角误差等指标为官方管线指标,材料未说明其统计样本与评测条件。
