跳到主要内容
返回时间线
arXiv来源发表:

机器人策略把“放进碗里”绑错了物体:不改指令、不训练,闭式权重编辑把留出成功率从27/128提到106/128

核心概要

零样本视觉-语言-动作策略在“先放方块再放香蕉进碗”任务上会提前松手,原因是把“in the bowl”绑到了香蕉而非手中的方块。闭式指令蒸馏把一种有效改写指令在VLM各层MLP上的逐层效果直接写进权重,无需梯度、训练数据或改动指令;在128个留出种子上成功率从27/128升到106/128,而同等规模的随机方向更新没有带来提升。

Source-provided article image: Distilling Instructions into Weights: Closed-Form Edits Fix a Robot Policy's Misreading
arXiv

深度剖析

一个从未在本任务上训练过的通用机器人策略,可以在指令原样不变的情况下被修好:它此前在搬运方块途中提前松手,编辑后能持续握持直到把方块放进碗里。 此前的常规做法是采集示范并微调;权重空间编程提供了免梯度改权重的另一条路,但已有机器人结果多在按任务微调过的检查点上取得,零样本策略上哪些失败可被修好仍不清楚。 在128个编辑期间未使用的留出种子上,成功率从27/128升到106/128,81个起点被修好、2个被弄坏;同等层数、秩和奇异值的随机方向更新在同一批前64个种子上只得到9/64,与未编辑策略两次运行的13/64和9/64相当。

修复的做法是先找到一种能奏效的改写说法,再把这种说法在内部产生的效果写进视觉-语言模型的权重。 闭式指令蒸馏在每一层构造72个键,键是原始指令下该层MLP下投影输入在6个记录到的提前松手决策上的均值,值则是显式改写相对原始指令的逐层残差增量之差,再用正则化最小范数更新把键映射到值。 离线回放中该编辑消除了全部21次提前松手,同时不改动9次正确搬运和19个第二阶段决策;在32个练习种子上闭环成功率从3/32升到25/32,随后编辑被冻结并在留出种子上评分。

启示与展望

结论建立在仿真中的一个零样本检查点上:DROID 版策略在 RoboLab 的16个任务上评估,每次比较使用16到128对配对种子,指令文本始终不变。发布的 weightsmith distill 工具目前只在一个任务上端到端跑通,且需要把已知有效的改写说法作为输入。

作者指出,完整编辑虽为低秩但并不稀疏,改动了策略13.4%的存储值,0.16%变体实际应用后仍改动7.4%;编辑位置比较只覆盖一个任务和一种改写;迁移未被事先预测,部署需要广泛的回归检查;失败层级由编辑者诊断给出,没有独立评分者复核。此外,权重不变的重跑会让约三分之一的配对结果翻转,因此评估需要配对种子、重跑未编辑策略并在留出种子上确认增益。