机器人记忆不再靠关键帧猜:把每步观察写成可核查文本,固定策略下成功率从44.5%升到66.0%
核心概要
Gamma把机器人长时记忆从像素改成可核查的文本行,在固定执行策略下把RoboMME十六项记忆任务的平均成功率从44.5%提到66.0%,并在三项任务上追平特权子目标上限。
深度剖析
机器人记忆任务不再依赖从整段视频里挑关键帧。此前表现最好的非特权方法FrameSamp+Modul在RoboMME十六项任务上平均成功率44.5%,而特权子目标上限为84.1%。Gamma在同一固定执行策略下把平均成功率提到66.0%,在PickXtimes、PatternLock和RouteStick三项上追平该上限。 此前把记忆交给单个视觉语言模型选关键帧再推理,MemER平均42.4%,GroundSG+QwenVL平均32.7%,都远低于特权上限。 对照来自RoboMME十六项记忆任务,每项每服务种子30个回合、三个种子,执行策略权重与特权行完全相同,只有子目标流不同。
系统把每个重规划窗口的观察压成至多一行带坐标的文本,追加进只增不改的记忆库,再由另一个模型只读文本、不看像素地输出下一个子目标。 此前关键帧记忆会丢帧且不可恢复,坐标由视觉语言模型直接给出,容易落到同类物体中的错误实例上。 检测由SAM-3按类别文本提示在每帧给出坐标,写入与推理两个模型共享Qwen3.5-9B基座并各挂LoRA适配器,训练语料由同一套证据门控从1600个录制回合机械生成。
每个智能体提出的声明都要先过一道机械核查:事件行、完成声明和引用坐标分别对照本窗口的检测证据,被接纳、暂缓、改正或驳回。 没有这道核查时,写入模型会按学到的节奏宣布看不见的动作完成,两个模型都会引用自己无法知道的坐标。 去掉暂缓判定后按键计数任务ButtonUnmask从84.4%掉到56.7%、ButtonUnmaskSwap从35.6%掉到13.1%;去掉驳回后两个路径任务PatternLock和RouteStick从98.9%和56.7%掉到3.3%和6.7%。
启示与展望
结果全部来自仿真:RoboMME十六项记忆任务和RoboMemArena二十六项厨房任务,执行策略固定不变,特权上限和每配置480个留出回合使对照可控。适合研究机器人长时记忆、视觉语言动作策略上层规划与智能体输出核查的读者。作者指出,迁移到新环境需要重新推导这类读取器,或换用能真正读懂运动的视觉语言模型,后者是开放问题。
作者说明这是仿真结果,不构成对物理操作的结论,物理部分只通过固定执行器和检测器进入。每个重规划节拍要跑一次检测和两次模型生成,闭环运行等待调用返回,因此报告的成功率不依赖其延迟。两个方向任务依赖编码了基准规律(固定笔画长度、标记语义)的确定性读取器,作者将其视为当前视觉语言模型能力的边界。
