跳到主要内容
返回时间线
arXiv来源发表:

长程多机器人任务有了统一考场:最强模型在无干扰回合也大量失手,扰动一来成功率再降

导语

MAGMA-Bench 把动态任务执行与多机器人协同放进同一个评测,最强模型在无干扰回合也大量失手,在线扰动下成功率进一步下降。

Source-provided article image: MAGMA-Bench: Evaluating Long-Horizon Embodied Agents under Dynamic Tasks and Execution Failures
Figure 1 · arXiv · 第 1 页

正文

长程具身智能体的评测现在有了一个统一考场,它同时覆盖任务随时间推进的动态执行和多个能力不同机器人之间的协同。 此前的基准分别考察动态任务执行和具身多智能体协同,对两者交叉处的评测有限。 评测对象包括可本地部署的开源权重规划器、多智能体状态跟踪策略和前沿模型,任务跨度逐级加长。

智能体只做任务层面的推理,感知和底层控制被交给一个结构化的技能级接口。 这种技能级接口把任务级推理与感知、底层控制分开,使评测不依赖具体架构。 评测在受控的在线扰动下进行,扰动包括执行失败、任务中断和任务更新,场景要求能力不同的机器人协同。

监督式适配能让一个小模型明显变好,但在更长和涉及多机器人的任务上,表现仍明显偏低。 即便最强模型也在相当一部分无干扰回合中失败,在线扰动下成功率进一步下降。 随基准一并发布的有 261,646 条任务级训练样本和一条与架构无关的专家轨迹生成流程。

接下来

该基准面向动态多机器人环境中的持续任务推理,评测对象是可本地部署的开源权重规划器、多智能体状态跟踪策略和前沿模型,任务跨度逐级加长,并施加执行失败、任务中断和任务更新等受控在线扰动。随基准发布的有 261,646 条任务级训练样本和一条与架构无关的专家轨迹生成流程。

材料没有说明扰动强度与任务跨度之间的对应关系,也没有给出监督式适配所用数据的规模;小模型经适配后变好,但在更长和涉及多机器人的任务上表现仍明显偏低。

来源