机器人检索把动作也编进向量：Robota-Embed在8000条画廊上取得47.33%片段级R@1
核心概要
机器人取用历史经验时，往往只按任务或画面相似来匹配，难以区分同一任务里“正在靠近”和“已经放下”这类执行阶段。Robota-Embed把语言、视觉与原始动作同时编码进当前状态查询和记录的未来片段，使检索键本身带上运动信息。在4000条查询对8000条候选的Robota-Embed-Bench上，它取得47.33%片段级与81.77%回合级R@1；摘要称比不使用动作的Gemini Embedding 2高22.09和33.47个百分点，正文第4.1节则给出22.09和33.18个百分点。
深度剖析
机器人检索的匹配对象从“相似的任务或画面”变成“应当接着发生的记录片段”，当前状态与未来延续被放进同一个向量空间比较。 此前的通用嵌入只对齐视觉与语言，动作感知方法则多把动作放在候选内容或返回结果里，查询键本身不含运动信息。 在4000条查询共享8000条候选的Robota-Embed-Bench上，Robota-Embed取得47.33%片段级和81.77%回合级R@1；正文第4.1节列出两个最强基线Gemini Embedding 2与Omni-Embed-Nemotron-3B分别为25.24%和48.59%，并给出22.09和33.18个百分点的提升，摘要对回合级差距写作33.47个百分点。
查询端由指令、交互区域图像和同步动作合成一个向量，候选端由同一指令、四秒未来视频和对应动作合成一个向量，两者用余弦相似度排序。 模型以Cosmos3-Edge 4B为基座，查询与候选共享Transformer、视频分词器和输出头，各自带一个无偏置残差适配器，不同来源的原始动作经各自投影器进入主干。 训练语料为来自EgoDex、DROID、LIBERO和RoboMIND–Franka-dual的1,695,684条过滤后的当前—未来配对，训练目标由预测对齐、多模态接地与判别、表示正则三部分组成。
动作不是可有可无的附加输入，去掉它比去掉视觉更伤检索。 在DROID上匹配主干、数据和训练预算的对照中，完整视觉—语言—动作输入为78.7%片段级R@1，去掉动作后降到59.8%，去掉视觉后为76.8%。 在固定最终模型与画廊的查询掩码实验中，遮蔽查询动作或视觉分别使片段级R@1下降27.25和24.33个百分点，两种干预回答的是不同问题。
启示与展望
已展示的范围是四个来源（EgoDex、DROID、LIBERO、RoboMIND–Franka-dual）上的检索评测，以及DROID-Sim、LIBERO困难子集、五个ManiSkill任务和真实机器人上的下游实验；作者提出后续把Robota-Embed扩展到运动学、原始动作空间和控制接口更多样的机器人，并探索按任务与执行阶段自适应调整检索片段时长的变长检索，而不是固定四秒窗口。
作者指出，重训练衡量的是剩余模态能重新学到什么，掩码衡量的是固定模型对输入的依赖，因此无视觉重训练的小差距不意味着最终模型忽略视觉；Embed2Evolve与Omni-Embed-Nemotron-3B的比较是两套独立演化出的记忆与上下文配方，而非固定框架内换编码器；执行时间包含API等待，受调用方与调度差异影响，时间节省是观测性的，并非隔离出的方法加速；更少的策略调用也不必然减少物理控制节拍。摘要与正文第4.1节对回合级提升幅度的表述不一致，分别为33.47和33.18个百分点。