跳到主要内容
返回时间线
Lecture notes in computer science来源发表:

四足机器人不再背指令表:一句自然语言变成可校验代码,开源模型成功率约82%

核心概要

四足机器人探索未知环境时,不再依赖预先写死的指令库,而是把用户的高层意图交给大语言模型写成受限于机器人函数库的可执行程序,由视觉语言模型提供开放语义标注,并用几何与语义阈值触发重规划。在Gazebo仿真中,Qwen3.5与Kimi-K2.5的总体成功率约82%,GPT-5-nano约46%;有限任务表现稳健,开放式任务的成功率波动更大。

Source-provided article image: Adaptive Code Generation for Controlling Robots
Fig. 1 · 第 5 页

深度剖析

机器人控制从固定指令库转向由自然语言意图驱动的程序生成,用户给出目标而非显式程序,机器人自行生成、执行并调整行为。 传统机器人系统面向静态、封闭世界的任务,依赖确定性算法、固定规则集和事先完全指定的任务模型,遇到训练类别之外的对象或情况便难以应对。 在Gazebo仿真中,搭载640×480 RGB相机与512线2D激光雷达的四足机器人,在完全可见与增量发现两种环境下接受有限任务和开放式任务测试。

系统把高层意图翻译成受约束的Python 3工作流,由自定义虚拟机执行,并在环境变化时保留执行状态热重载新计划。 大语言模型输出不确定且不保证正确,直接接入控制回路会带来形式化鸿沟与执行进度丢失的问题。 执行器由CPython编译器与自建栈式不可变虚拟机组成,快照记录当前指令、变量绑定、函数参数与调用栈;重规划由新对象、几何面积增长和语义标签变化三类触发条件启动。

不同生成模型在同一架构下表现差异明显,说明模型选择仍是系统可靠性的一部分。 此前缺少在相同约束回路下对多个前沿模型的横向比较。 Qwen3.5与Kimi-K2.5总体成功率各约82%,GPT-5-nano约46%;每个任务重复三次,受推理耗时与人工评估限制,每个模型最多尝试三次。

启示与展望

演示范围是Gazebo仿真中的四足机器人探索任务,覆盖完全可见与增量发现两种环境、有限与开放式两类任务,以及目标导航和语义探索两种操作模式。系统面向需要在设计时无法完全指定的环境中执行高层意图的机器人控制研究者与工程师。后续工作将用形式化状态机验证替代简单的执行指针,并探索多机器人协同以扩展分布式平台上的语义理解。

开放式任务的成功率比有限任务波动更大,目标导向设置在增量发现环境下退化最明显,新发现对象的覆盖不完整是主要难点。失败集中在语义 grounding、约束遵守和长时程状态维持,而非底层动作执行;模型常难以判断环境是否已被穷尽,出现过早终止或重复访问。每个任务仅重复三次,作者说明这限制了统计稳健性。