长程具身智能体有了压力测试场：任务越拉越长，最强模型也在干净回合里失手
核心概要
MAGMA-Bench 把长程具身智能体的评测放到动态多机器人环境里，同时施加执行失败、任务中断和任务更新等在线扰动，并用技能级接口把任务层推理与感知和底层控制分开。此前基准多只考察动态执行或多机器人协同中的一面，很少考察两者交叉。评测中即使最强的模型也在相当一部分无扰动回合中失败，扰动下成功率进一步下降；监督式适配能明显提升一个小模型，但在更长任务和多机器人任务上仍明显偏低。
深度剖析
长程具身智能体的评测现在把动态任务执行与多机器人协同放在同一个环境里考察，并让任务长度逐级增加。 已有的基准分别研究动态任务执行和具身多智能体协同，对两者交叉处的评测有限。 评测覆盖逐步加长的任务跨度，以及受控的在线扰动，包括执行失败、任务中断和任务更新，场景要求能力不同的机器人之间进行协同。
评测把任务层推理与感知和底层控制拆开，使不同架构的规划器可以在同一接口下比较。 这种技能级接口是架构无关的，因此评测对象是任务层决策而不是某一种感知或控制实现。 评测对象包括可本地部署的开源权重规划器、多智能体状态跟踪策略以及前沿模型。
监督式适配能大幅提升一个小模型，但提升后的表现仍不足以应对更长任务和多机器人任务。 即使是最强的受评模型，也在相当一部分无扰动回合中失败，在线扰动下成功率进一步下降。 随基准一并发布的有 261,646 条任务级训练样本，以及一条架构无关的专家轨迹生成流程。
启示与展望
评测面向动态多机器人环境中的持续任务推理，任务跨度逐级增加，扰动为受控的在线扰动，包括执行失败、任务中断和任务更新，场景要求能力不同的机器人协同。受评对象是可本地部署的开源权重规划器、多智能体状态跟踪策略和前沿模型。随基准发布的是 261,646 条任务级训练样本和一条架构无关的专家轨迹生成流程。
材料为摘要，未给出各模型成功率的具体数值，也未说明扰动强度与任务跨度的具体档位。监督式适配虽能大幅提升一个小模型，但在更长任务和多机器人任务上表现仍明显偏低，这一差距在摘要中未给出量化范围。