跳到主要内容
返回时间线
arXiv来源发表:

双臂机器人不再让大模型独自排程:BiPOP把协调约束交给时序规划器,三个仿真任务成功率均不低于95%

核心概要

双臂长程操作的关键瓶颈不只是单手技能,而是两条手臂在空间与时间上的协调。BiPOP把工作空间按手臂可达范围划分,由大语言模型把自然语言指令和场景信息写成PDDL问题,再交给时序规划器生成带并发调度的偏序计划。在ServeFruit、ServeWater、StackBlock三个仿真任务各100个随机实例上,BiPOP的成功率分别为100%、100%和95%,是唯一在每个任务域都不低于95%的方法,并在真实双臂机器人NICOL上端到端完成ServeWater任务。

Source-provided article image: BiPOP: Partial-Order Planning for Long-Horizon Bimanual Robotic Manipulation
arXiv

深度剖析

双臂长程任务被拆成可复用的单臂技能加少量同步双臂技能,高层协调成为独立于技能学习的一层,由显式时空模型和符号规划器负责。 此前的双臂规划要么把每条手臂当作自主智能体、靠大模型推理分配子任务,要么让大模型生成任务依赖图再按启发式调度,并发是否安全主要依赖大模型的断言。 在三个仿真任务域各100个随机实例上,BiPOP在ServeFruit、ServeWater、StackBlock的成功率分别为100%、100%、95%,而单次生成整份计划的I/O配o3为98%、87%、86%,配DeepSeek-R1为66%、82%、52%,逐步反馈的ReAct配GPT-4.1为100%、45%、36%。

工作空间按每条手臂的可达范围分成两个单臂区和一块双臂都能到达的重叠区,重叠区里的动作必须显式排序或同步,单臂区里互不共享手臂、物体和区域的动作才允许并行。 这套划分在任务规划层面判断并发,看的是动作涉及的手臂、物体和区域,而不是底层轨迹的几何可行性;并发动作之间的碰撞规避留给下游运动规划器。 大语言模型不直接写PDDL文本,而是生成调用Unified-Planning库的Python代码,把相机图像得到的场景描述写成初始状态、把自然语言指令写成目标;代码报错或规划器在固定时限内无解时,错误信息会回送给模型重新生成。

时序规划器TFD在若干搜索配置下产出多个候选计划,再由VAL校验器筛掉违反持续动作条件或时序语义的候选,取符号makespan最短的一个下发给控制器。 所有动作被赋予统一时长,因此计划的makespan等于并行步数,并发动作只计一次,这个量被称为符号makespan并作为唯一的效率目标。 规划时间上,BiPOP在三个任务域合计为6.56、5.95、35.56秒,其中TFD占1.60、0.97、28.91秒;I/O配o3为32.74、43.76、73.20秒,配R1为227.07、245.71、367.57秒,ReAct配GPT-4.1为16.56、24.74、42.46秒。

启示与展望

演示范围是CoppeliaSim仿真中每条手臂八自由度、配五指手的双臂机器人,三个任务域各100个随机实例,以及真实机器人NICOL上ServeWater任务的端到端执行;真实场景中ServeWater改用玻璃杯和瓶子,StackBlock改用灰色托盘。

TFD在固定时间预算下返回的是预算内找到的最短符号makespan,而非经过证明的最优解;StackBlock上搜索空间更大,TFD耗时占主导,最优性差距分布超出零。真实图像测试中,StackBlock的灰色托盘和竖直堆叠方块偶有定位错误,来源是检测器和固定的眼位相机视角。统一时长是抽象选择,运动层的时长估计尚未接入。