视觉语言动作模型去掉视觉编码器:NEO-VLA让动作信号在中间层就接上
NEO-VLA把视觉语言动作模型里的固定视觉编码器去掉,图像经轻量卷积层切块后与语言在主干中一起演化,动作专家从不同深度的指令条件视觉表示中取用信息。受控比较中这类原生结构优于带编码器的对照,全量微调缩小差距但没有消除,单纯加大规模也补不回来;逐层探测显示对动作关键的信号常在最终视觉表示之前就达到峰值。
NEO-VLA把视觉语言动作模型里的固定视觉编码器去掉,图像经轻量卷积层切块后与语言在主干中一起演化,动作专家从不同深度的指令条件视觉表示中取用信息。受控比较中这类原生结构优于带编码器的对照,全量微调缩小差距但没有消除,单纯加大规模也补不回来;逐层探测显示对动作关键的信号常在最终视觉表示之前就达到峰值。
视觉-语言-动作策略每步要处理数百个视觉token,推理延迟高。APS-VLA在冻结主干的前提下,用轻量评分器按当前观测、指令和本体感受挑选token,训练时同时要求保留的表示复现策略输出并预测后续视觉变化。在LIBERO上保留128个token时,平均成功率95.75%,比未剪枝的97.00%低1.25个百分点,推理延迟降到68.75毫秒。
人形机器人操作中,视觉-语言-动作模型的大骨干推理慢,同步执行时机器人只能拿过时观测动作,骨干越大控制频率越低。DASH把策略拆成慢速视觉-语言模型与快速流匹配动作头,经LCM协议以三个并发进程运行,控制频率只由动作头决定。在按模拟时间计入推理延迟的RoboTwin基准上,DASH在0.8B到8B骨干下都保持20赫兹,同步管线则从9.7赫兹降到4.1赫兹,且各规模成功率更高;真实灵巧手人形上,抓放成功为23/24,同步管线为16/24。
DexForesight把动作条件下的空间世界模型学到的预测特征,通过查询对齐注入灵巧操作策略的潜空间,部署时只保留策略,仅用RGB、语言和机器人状态生成动作。在11个DexJoCo仿真任务上,它把GR00T N1.7基座的整体成功率从49.4%提升到60.5%;在三个真机任务上达到58.3%,比最强基线高8.3个百分点。世界模型、深度编码器和未来预测头在推理时全部移除。
机器人取用历史经验时,往往只按任务或画面相似来匹配,难以区分同一任务里“正在靠近”和“已经放下”这类执行阶段。Robota-Embed把语言、视觉与原始动作同时编码进当前状态查询和记录的未来片段,使检索键本身带上运动信息。在4000条查询对8000条候选的Robota-Embed-Bench上,它取得47.33%片段级与81.77%回合级R@1;摘要称比不使用动作的Gemini Embedding 2高22.09和33.47个百分点,正文第4.1节则给出22.09和33.18个百分点。
SLA把视觉-语言-动作模型的空间对齐从只在任务后训练阶段做,扩展到持续预训练阶段,并在下游后训练中保留。它从预训练策略初始化,联合优化动作预测与中间视觉嵌入对冻结三维感知模型空间表示的余弦对齐,训练时用特征相关门聚合多层视觉嵌入、用概率状态丢弃减少对示范轨迹的依赖;在RoboTwin 2.0的Clean2Random设置上达到72.3%,在八种真实部署条件上平均成功率83.8%,比基线高24.0个百分点。
RoboTryOn把第一人称人类操作视频当作“虚拟试衣”来处理:保留演示动作,只把画面中的人替换成目标机器人,再由带深度特征的反向动力学模型从合成视频读出关节动作标签。在两种带灵巧手的真实人形机器人上,仅用合成演示训练的策略把未见任务的平均成功率从2.1%提升到60.0%,并在全部遥操作演示只含单臂的情况下于双臂任务上取得45.9%;只用人类视频翻译的数据训练,可在约三分之一采集成本下达到与纯遥操作演示相当的成功率。
Ai2 发布 ToyBlocks,一个围绕机械臂与桌面方块搭建的开源仿真框架,属于其 FoundationWorlds 计划的首个受控世界。它自动生成任务与演示数据,让研究者能改变训练数据、重复实验并追踪失败原因。在真机测试中,仅用仿真数据训练的底层技能模型 ManiFlow 在仿真与真实环境中的成功率分别为 80.0% 和 81.1%,而高层规划加底层执行的组合系统在仿真中为 55.5%、真机为 50.0%。
Ai2发布ToyBlocks,一个围绕桌面机械臂与积木搭建的开源仿真框架,属于其称为FoundationWorlds的可控机器人学习环境系列。它用强化学习与运动规划自动生成技能和演示数据,单块GPU上并行执行规划可达24倍实时速度,并配套成功率之外的执行速度、施力与任务进度指标。在30个真实场景中,仅用仿真数据训练的ManiFlow原子技能成功率81.1%,Molmo 2加ManiFlow的分层系统真实世界成功率为50.0%。
视觉-语言-动作(VLA)模型给出的最高分动作,未必是物理执行中最可靠的那个。FRS-Grounding在VLA推理之后保留有限候选集,把归一化候选分数与到安全动作集的距离合成模糊动作集,再用位姿差与无碰撞状态构造候选间关系,经模糊粗糙上下近似区分强支持与边界候选。1500次随机仿真中,完整流程成功率86.4%、安全违规率2.1%,点式硬约束基线VLA-HC为74.8%与8.2%;位置噪声σ=10 mm时成功率约78%,VLA-HC约28%。