跳到主要内容
返回时间线
arXiv来源发表:

人形机器人不再等大模型算完:DASH把控制频率锁在20赫兹,0.8B到8B骨干都跟得上

核心概要

人形机器人操作中,视觉-语言-动作模型的大骨干推理慢,同步执行时机器人只能拿过时观测动作,骨干越大控制频率越低。DASH把策略拆成慢速视觉-语言模型与快速流匹配动作头,经LCM协议以三个并发进程运行,控制频率只由动作头决定。在按模拟时间计入推理延迟的RoboTwin基准上,DASH在0.8B到8B骨干下都保持20赫兹,同步管线则从9.7赫兹降到4.1赫兹,且各规模成功率更高;真实灵巧手人形上,抓放成功为23/24,同步管线为16/24。

Source-provided article image: Decoupled Asynchronous System for Humanoids (DASH): Latency-Agnostic Scaling of Vision-Language-Action Models for Humanoid Manipulation
arXiv

深度剖析

DASH把人形机器人上的视觉-语言-动作策略拆成两个独立时钟的模块:慢速视觉-语言模型负责语义,快速流匹配动作头负责出动作,控制频率因此不再随骨干变大而下降。 此前这类模型整体同步执行,动作要等骨干算完才可用,骨干越大延迟越长,控制频率越低。 在按模拟时间计入推理延迟的RoboTwin基准上,DASH在0.8B、2B、4B、8B骨干下都保持20赫兹,同步管线的控制频率则从9.7赫兹依次降到7.6、5.5和4.1赫兹。

动作头把冻结骨干给出的旧语义与自身ResNet编码器看到的新画面拼在一起,并在训练中随机错开两路输入的时间,使部署时的陈旧输入在训练中已经出现过。 同步训练只见过同一时刻对齐的输入,部署时动作头却要面对一个骨干周期之前的语义。 在50项RoboTwin任务、每个配置250个回合的评测中,DASH在四个骨干规模上的成功率都高于同步推理,4B时最高为69.5%,比同步高5.9个百分点;同样异步运行但用对齐数据训练时,成功率略低于同步推理。

重叠的动作块按实际到达间隔做分数偏移对齐,再用线性插值重采样,使异步推理的高出块密度变成更细的动作而不是抖动。 同步推理的周期固定,块偏移是已知整数;异步后推理时长逐块变化,偏移变成随时间变化的实数,直接取整会让执行超前。 在带两只灵巧手的真实人形机器人上做语言指定的桌面抓放,DASH配自适应聚合器成功23/24次,同步推理配固定偏移聚合器成功16/24次。

启示与展望

评测限于准静态的桌面抓放任务:仿真为RoboTwin的50项任务套件,真实平台为带两只灵巧手的人形机器人执行语言指定的抓放;作者明确把动态任务和长程任务列为下一步评估方向。

作者指出所评测任务均为准静态,并预期恒定控制频率与新画面在动态、长程任务上作用最大,这类场景尚未评测;仿真套件中部分任务未在训练示范中出现,绝对成功率因此保持在中等水平。