机器人动作先预测再挑选:RoboCasa 50项任务上成功率从7.24%升到8.28%
核心概要
机器人策略不再直接执行生成的动作,而是先预测每个候选动作的未来状态,再挑预测回报最高的那个执行。LY-GWM-RoboCasa-Human300 把微调过的 GR00T-N1.5 动作生成器、动作条件图动力学模型和二元状态回报打分器组合起来,推理时采样四个动作块并比较其预测状态回报。在 RoboCasa 1.0.1 预训练厨房划分的 50 项任务、每项 50 回合的本地评测中,成功率从历史自训练基线的 7.24% 升到 8.28%,多出 26 次成功。
深度剖析
机器人执行的动作现在会先经过一次未来状态预测和打分,预测结果因此能改变真正发往环境的动作。 此前的做法是让微调后的 GR00T-N1.5 动作生成器直接给出动作,预测不参与选择。 在 RoboCasa 1.0.1 预训练厨房划分的 50 项任务、每项 50 回合的本地评测中,系统取得 207/2,500 次成功,即 8.28%,历史自训练 GR00T-N1.5 基线为 181/2,500,即 7.24%,相差 26 次成功、1.04 个百分点。
选择机制由三部分组成:动作生成、未来状态预测和回报打分,三者都在评测中保持冻结。 动作条件图动力学模型负责预测候选动作之后的潜在特征和机器人状态,二元状态回报打分器给出每个候选的回报 logit。 推理时策略采样四个动作块,用 16 步预测视野为每个候选预测未来,再执行预测状态回报 logit 最高的那个;评测中三个组件均不更新参数。
启示与展望
报道范围限于本地评测与官方复评两组分开报告的结果:本地为 RoboCasa 1.0.1 预训练厨房划分的 50 项任务、每项 50 回合,官方复评为维护方对提交的重新评测,50 项任务共 354/1,500 次成功。读者对象是关注机器人操作策略与推理时选择的研究人员和工程师。原文未提出后续实验计划。
本地结果与官方复评结果被明确分开报告,二者差异未被归因于模型改进。本地差异是相对历史自训练基线的 26 次成功,属于历史对照而非同期对照。原子任务组从 141/900 提升到 150/900,官方排行榜上 Atomic-Seen、Composite-Seen、Composite-Unseen 分别为 48.3%、16.3%、3.1%,复合未见任务的成功率仍低。
