机器人策略只带权重换任务:让世界动作模型重放自己生成的过去,遗忘降九成
核心概要
世界动作模型可以只凭任务指令重新生成已学任务的完整轨迹,经截断与物理一致性筛选后回放,在四个LIBERO套件和五项真实任务上把顺序微调的遗忘降低九成以上,且不保留任何旧任务数据。
深度剖析
顺序微调的世界动作模型在新任务上适应良好,却几乎丢掉此前学会的任务;把模型自己生成的旧任务轨迹拿来重放,遗忘明显变小。 此前缓解遗忘依赖经验回放,需要保存旧任务的真实演示;机器人策略常只以权重形式交付,训练数据并不随权重一起提供。 四个LIBERO套件上,顺序微调平均成功率只有12.5%,回放未筛选的原始生成轨迹把平均成功率提到70.4%,但仍远低于回放真实数据的经验回放。
生成轨迹在回放前先被修正:任务完成后多余的动作被截掉,动作与观测不一致的轨迹被剔除。 原始生成轨迹有两个问题,模型不识别任务完成、会在完成后继续生成无目的动作,开环生成下动作会逐渐偏离生成的观测。 用视觉语言模型作为评估器定位完成点并截断,再用机器人自身URDF在无环境仿真中执行生成动作得到光流,与从生成观测估计的光流比对,按一致性排序保留最好的轨迹。
修正后的生成回放几乎追平使用真实数据的经验回放,且两个修正环节都不可少。 不截断时LIBERO-Spatial成功率降到70.8%,不过滤时降到80.8%,都低于两者都用的94.0%。 四个LIBERO套件上平均成功率92.7%、遗忘指标2.33,仅比回放真实演示的经验回放低1.9个百分点;五项真实任务上成功率89.5%对91.8%。
启示与展望
报告覆盖的是世界动作模型在数据无关持续学习下的表现,评估在四个LIBERO套件和五项真实机器人任务上完成,回放数据由任务指令生成并缓存复用。适合关注机器人持续学习与生成式回放的研究人员和工程师阅读。原文提出的后续方向包括在训练时对齐观测与动作,或用外部世界模型为生成提供物理依据。
与经验回放之间仍有小差距,且在长时程任务上最大,说明筛选只是缓解而非消除观测与动作的漂移。真实实验中基于回放的方法可塑性下降4到5个百分点,原文归因于任务间干扰,这一干扰仍需处理。
