跳到主要内容
返回时间线
arXiv来源发表:

机器人擦桌子不再只学动作:单条示范里的接触轨迹当提示,未见物体上成功率78.7%

核心概要

把单条示范中的运动与指尖接触力编码成有序提示,冻结的策略在未见物体上执行擦、转、插三类接触任务,总体成功率78.7%,比最强对照高13.0个百分点。

Source-provided article image: Contact Trajectory Prompting: In-Context Transfer of Contact-Rich Behaviors from a Single Demonstration
Fig. 2 · arXiv

深度剖析

机器人现在可以从单条示范里同时学到动作和用多大力气接触物体,而不只是模仿运动轨迹。 此前的上下文机器人学习主要用视觉、语言或动作轨迹来指定任务,擦桌子这类任务中轻擦和重擦的运动路径相似,仅凭视觉和运动学线索无法区分所需的接触强度。 在擦、旋转、插入三类真实任务、每类三个训练中未出现的物体上,该方法总体成功率78.7%,最强对照BPP*为65.7%,DP-FT为40.7%,另一对照为37.0%,九个实例中八个达到最好或并列最好。

做法是把示范中的运动、指尖六维力/力矩和分布式力图按时间顺序压成一段提示,执行时由在线观测去这段提示里取相关信息。 力与触觉信号此前多用于反馈控制或训练监督,较少用来把期望的接触强度及其时间演化本身当作行为规格。 提示编码器用共享二维卷积网络处理两指力图、共享多层感知机处理六维力/力矩,再以运动特征为查询做跨注意力融合,并用空洞时间卷积网络编码时间演化;策略以条件流匹配生成32步动作块,执行前16步,全部推理在一块RTX 4090上完成。

启示与展望

这套方法在已知任务族内做一次性迁移:测试时机器人拿到一条在未见物体上采集的参考示范,提示编码器、在线观测编码器和策略网络都保持冻结,示范只编码一次并在整个执行过程中缓存复用。评估覆盖擦、旋转、插入三类真实任务,每类三个训练中未出现的物体,每个方法每个物体用四条参考示范、每条三次试验。作者提出后续工作将把方法扩展到更多样的任务、更丰富的时间交互模式和不同的机器人平台。

插入任务仍是较难的一类:该方法在实例A和B上优于对照,但在实例C上为33.3%,低于BPP*的41.7%。参考接触消融中,仅保留位置的提示未能保持轻、中、重的强度排序,说明强度分级依赖参考中的接触信息。高度扰动实验把测试物体相对参考配置竖直偏移,在线接触缺失时执行常常无法建立表面接触。作者也指出,未来工作才把方法扩展到更多任务、更丰富的时间交互模式和不同机器人平台。