移动机器人不再先建整张语义地图：Feijoa在查询时按指令找物，103条查询精确匹配94.2%
核心概要
移动操作机器人接到“把玩具收进玩具箱”这类指令时，通常要先建一张与任务无关的语义地图，而这张图可能缺少指令所需的属性、可供性与概念。Feijoa 让语言模型智能体在指令到达后直接对已定位的 RGB-D 扫描发起查询，检查返回候选并反复改写查询，直到消解指令。在 103 条开放式指称查询上，Feijoa 的精确匹配率为 94.2%，高于最佳预建表示 TextMap 的 68.0%；在 Spot 上的 50 次真实试验中完成 35 项任务，其中 17 次成功发生在工具调用或校验失败后的恢复之后。
深度剖析
机器人对场景的理解改为在指令到达后按需生成，而不是在指令未知时一次性建好。 此前的开放词汇三维物体地图、三维场景图和三维特征场都在查询前完成感知，把场景压缩成嵌入或描述，因而可能缺少某条指令所需的细粒度属性、可供性与概念。 在 103 条覆盖类别、属性、空间关系、集合与需要推理的指称查询上，Feijoa 的精确匹配为 94.2%，最佳预建表示 TextMap 为 68.0%，不带智能体的 find_objects 工具为 47.6%。
智能体把找物、规划与机器人技能串成一个闭环，每一步根据上一步的结果决定下一步。 预建表示把昂贵感知放在查询之前一次完成，查询时只做检索，无法在结果不对时重新提问。 智能体在每轮从工具库中选择调用，工具包括 find_objects、estimate_cost、update_plan 以及 navigate、pick、place、push、wipe，执行框架负责组装上下文、派发调用并记录结果。
执行框架在技能执行前检查前提并采样可行基座位姿，执行后用视觉判定核对效果。 没有这套检查时，智能体可能驶向后续技能无法执行的位姿，或在失败后仍把该步骤标记为完成。 在 20 次经人工确认失败的 place 与 wipe 执行中，只给状态文本时智能体有 9 次把失败步骤标记为完成并继续，加上前后图像后为 6 次，再加上判定结论后为 2 次；去掉可行位姿采样后，两个场景各 5 次试验中分别只有 2 次和 1 次到达可行位姿，而 Feijoa 均为 5 次。
启示与展望
演示范围是已预先扫描的工作空间内的移动操作：智能体拿到一段带位姿的 RGB-D 记录作为观测记忆，并在执行中获取新观测；真实试验在带机械臂的 Spot 四足机器人上完成，共 50 次任务，覆盖短、中、长三种时程。指称评测在四个场景的 103 条查询上进行，预测由人工判定。
作者指出机器人物理技能是剩余的主要瓶颈：15 次失败试验中有 13 次由物理技能导致，只有 2 次来自指称或智能体推理；查询时找物与语言模型推理也带来延迟。附录中报告，在同一批查询上表现最好的独立视觉语言模型 Gemini 3.8 Flash 精确匹配为 96.1%，延迟更低、token 成本相近，但它每个物体只返回一个三维点，不含技能所需的三维范围与视角，且需要把整段扫描放进上下文窗口。