跳到主要内容
返回时间线
arXiv来源发表:

单条成功演示不再只当监督:学会改轨迹后,15个Meta-World任务平均成功率92.7%

核心概要

把一条成功演示当作可编辑的骨架,用稀疏成功奖励学出何时切换物体中心阶段、如何做几何修正,15个Meta-World任务平均成功率92.7%,在9个DexMimicGen任务上生成数据的平均编辑成功率98.4%。

Source-provided article image: OneDemo: Unified Policy Learning and Data Generation from a Single Demonstration
Figure 1 · arXiv

深度剖析

机器人策略学习不再只能靠大量遥操作演示,一条成功轨迹可以被改写成适应新物体摆放的轨迹,并同时充当任务策略和演示生成器。 此前的做法分两类:简单扰动式增强容易在新配置偏离源演示较远时产生无效轨迹,而MimicGen一类结构化方法靠人工指定的任务结构和轨迹生成流程来决定行为。 在15个Meta-World任务上,平均最佳成功率92.7%,平均53.7k次环境交互达到最佳检查点;在9个DexMimicGen任务上,轨迹编辑平均成功率98.4%。

编辑动作不落在底层机器人动作上,而是落在已有成功运动的两个结构化决定上:一段运动何时结束,以及这段运动相对物体如何做刚体修正。 源演示被表示为一串以物体为中心的阶段,每个阶段绑定一个锚定物体或坐标系;策略在每个阶段开始时预测该阶段的时长和一个残差刚体变换,锚点序列只提供粗略初始化。 这些决定用PPO在只有稀疏任务成功奖励的条件下优化;在DexMimicGen上,用生成数据训练的BC-RNN策略在匹配数据规模下平均成功率99.6%,而DexMimicGen报告的数据为76.3%。

启示与展望

这套方法面向物体几何和任务要求固定、只有任务相关物体位姿变化的空间配置,覆盖单臂、双臂和灵巧手操作,并在Meta-World、DexMimicGen和RoboTwin上评估。作者提出可向图像和点云等更丰富感知输入、段内闭环修正,以及交互模式切换等方向扩展。

作者指出,方法在每个阶段边界只做少量高层决定,段内动作序列不随新状态或观测改变,因此在Soccer、Stick Pull这类依赖持续状态相关修正的任务上收益更有限。RoboTwin上部分任务需要多种行为模式,当前做法是在固定交互模式内适配,需为每种模式各训练一个编辑器。