跳到主要内容
检索

# 双手操作

7 篇关联报道

订阅更新
  1. arXiv

    双臂机器人不再让大模型独自排程:BiPOP把协调约束交给时序规划器,三个仿真任务成功率均不低于95%

    双臂长程操作的关键瓶颈不只是单手技能,而是两条手臂在空间与时间上的协调。BiPOP把工作空间按手臂可达范围划分,由大语言模型把自然语言指令和场景信息写成PDDL问题,再交给时序规划器生成带并发调度的偏序计划。在ServeFruit、ServeWater、StackBlock三个仿真任务各100个随机实例上,BiPOP的成功率分别为100%、100%和95%,是唯一在每个任务域都不低于95%的方法,并在真实双臂机器人NICOL上端到端完成ServeWater任务。

  2. arXiv

    机器人数据不再靠遥操作:智能体把一次标定片段编译成仿真任务,真机成功率93比84

    北京大学与英伟达的 DataFarm 让编码智能体接手遥操作员的工作:只给一次标定片段和一条数据请求,智能体就在仿真里重建场景、写出专家控制器与成功判定,再由以真实图像为条件的视频模型渲染出带动作标签的多视角视频。在五项双臂真机任务上,只用农场数据训练的策略在原始场景取得100次试验93次成功,与同等数量遥操作数据的84次相当;在训练集未出现的桌布与彩色灯光下保持87次,遥操作策略降到46次。

  3. arXiv

    RoboTryOn把人类视频换成机器人演示:无遥操作数据,新任务成功率从2.1%升到60.0%

    RoboTryOn把第一人称人类操作视频当作“虚拟试衣”来处理:保留演示动作,只把画面中的人替换成目标机器人,再由带深度特征的反向动力学模型从合成视频读出关节动作标签。在两种带灵巧手的真实人形机器人上,仅用合成演示训练的策略把未见任务的平均成功率从2.1%提升到60.0%,并在全部遥操作演示只含单臂的情况下于双臂任务上取得45.9%;只用人类视频翻译的数据训练,可在约三分之一采集成本下达到与纯遥操作演示相当的成功率。

  4. arXiv

    单条成功演示不再只当监督:学会改轨迹后,15个Meta-World任务平均成功率92.7%

    把一条成功演示当作可编辑的骨架,用稀疏成功奖励学出何时切换物体中心阶段、如何做几何修正,15个Meta-World任务平均成功率92.7%,在9个DexMimicGen任务上生成数据的平均编辑成功率98.4%。

  5. arXiv

    双臂机器人不用立体相机也能拿立体数据:左视图加深度扭曲补洞,透明瓶抓取从11/20升到18/20

    双臂机器人立体数据稀缺,现有大规模机器人数据集几乎都是单目单臂,而立体相机采集需要昂贵硬件和重新遥操作。StereoEngine给出两条互补路线:有真实单目视频时,用单目深度把左视图前向扭曲成右视图,再用视频扩散模型补上右视图中左相机从未观测到的遮挡区域;没有真实视频时,从仿真轨迹渲染立体对,把左右两帧拼成一帧联合生成,从而同时得到两个一致的逼真视图。在AgileX PiPER双臂平台上,用其合成数据做中期训练或任务微调,三个任务合计成功50/60,高于不做中期训练的36/60,透明瓶抓取达到18/20。

  6. arXiv

    ExStereo 用显式立体表征把 2D VLA 提升到 3D,仿真成功率从 51.2% 升至 76.4%、真机从 16/60 升至 50/60

    作者提出 ExStereo 立体模块:用冻结的立体基础模型从双目图像重建度量点云,渲染为 Top/Front/Left/Right 四视图显式立体表征,经 ViT 编码后由动作 token 通过 action-stereo 交叉注意力选择性读取,并在大规模立体数据上以掩码自编码目标做 mid-training、再冻结模块做 post-training;在 RoboTwin 十个仿真任务上把平均成功率从 51.2% 提升到 76.4%,在双臂 PiPER 真机三任务上从 16/60 提升到 50/60,并优于点云与隐式立体基线。

  7. arXiv

    EyeRobot 2.0 用主动注视让单台立体相机完成精细双手操作,在腕部相机被遮挡时成功率由 22% 提升到 48%

    该工作提出 EyeRobot 2.0 框架,用主动注视(Active Visual Fixation)让两个视点物理转动对准场景中的 3D 注视点,并以中央凹方式分配更多视觉 token,从而仅用一台立体相机完成精细双手操作;在 7 个真实与 6 个仿真任务、超过 1000 次真实与 1800 次仿真试验中,它比被动立体相机策略在真实场景高 40%、仿真高 20%,在腕部视角清晰时与自我视角加腕部相机策略相当(69% 对 64%),在抓取物体遮挡腕部相机时成功率超过后者两倍(48% 对 22%)。

已读完全部报道