多机器人规划把结构交给求解器:NSDL 在 VIKI-L2 分布外准确率达 97.0%
核心概要
多机器人任务规划此前多由端到端视觉语言模型一并学出场景判断与动作结构,分布外表现容易塌陷。NSDL 把分工拆开:训练好的小模型只判断哪些目标已完成、任务如何拆分、哪台机器人做什么,并写成计划草图;确定性求解器再把草图展开为可执行联合计划。在公开 VIKI-L2 上,7B 模型分布外准确率达到 97.0%,3B 到 8B 的三个骨干均优于端到端与先形式化再规划基线。
深度剖析
多机器人团队从一张场景图和一条指令出发做规划时,哪些目标已经完成、任务怎么拆、哪台机器人负责哪一步,这类判断交给训练过的视觉语言模型;前置动作、机器人之间的交接和时序则交给确定性求解器计算。 此前的端到端规划器把两类决策都放进模型权重里学,先形式化再规划的方法则让未经训练的模型写出经典规划器的输入。 在公开 VIKI-L2 上,7B 骨干的 NSDL 分布外准确率为 97.0%,同规模端到端训练的 VIKI-R 7B 为 33.3%;3B 与 Qwen3-VL-8B 骨干呈现同样格局。
模型把判断写成计划草图,列出仍需动作的目标和按顺序排列的意图操作,并为每个操作指定机器人;求解器只读草图,不读图像,也不读目标判定。 求解器分三步完成展开:先补上前置动作与跨机器人交接,再把每个操作分解为基本动作,最后在优先级、每机器人每步一个动作、末端执行器容量和效果可见性四条约束下排程。 在自建的 LOCUS-Bench 上,NSDL-SFT 的运行时拒绝率降到 560 行中的 1 行,VIKI 上为 3018 行中的 0 行;去掉求解器的同语料变体拒绝率升至 23.2%,等权平均下降 15.7 个百分点。
求解器接管结构之后,排序与调度错误几乎消失,剩下的失败来自模型对场景状态的误判。 在 LOCUS 的 560 行中,109 行被模拟器判为不可行,全部来自求解器已接受的排程,反映的是模型在草图中写错的状态、实体或分配。 模型漏掉的真值活动目标中 91% 是它在目标列表里从未列出的目标;把检测关系换成真值关系,未列出目标的数量并未随之下降。
启示与展望
评估限于公开 VIKI-L2 与自建 LOCUS-Bench 的符号回放评分,动作模型为官方 VIKI-R 实现的八个基本动作,尚未涉及物理执行。读者对象是具身多智能体规划与视觉语言模型训练的研究者;后续方向是让模型学会该列出哪些目标,并把 NSDL 扩展到带闭环反馈的物理执行与更大的动作模型。
LOCUS 的逐格准确率沿两个难度尺度都不单调,族构成不同且加深结构难度也会提高分配难度,因此该基准不被当作已验证的二维能力刻度;检测器沿结构尺度的候选类宏召回比分布内低 11 个百分点,该尺度上的差异含有感知成分。真值关系只在训练中见过的关系形式下带来提升,未见形式会被误读;强化学习只在 7B 档带来增益,两个 3B 检查点均退化。
