推理不再挡在动作前面:动作专家不看当前推理,成功率不降、延迟最多低3.4倍
核心概要
推理型视觉-语言-动作模型此前每次动作都要等自回归解码完推理文本,生成推理占单次调用延迟的53%到70%。TacitVLA把动作专家对当前推理token的注意力遮掉,只保留推理监督对主干表征的训练作用,在记忆任务上把每条记忆条目改到动作执行期间生成。在RoboMME、RMBench、LIBERO与PhysicalAI-AV四个基准上,它与显式推理版本性能相当,延迟最多低3.4倍,并与无推理版本延迟相同而成功率最多高17.1%。
深度剖析
动作专家不必读取当前这次调用生成的推理文本,也能拿到推理带来的全部收益。 此前的具身思维链做法让动作专家条件于刚生成的推理文本,因此每个动作块都要等这段文本自回归解码完成;在LIBERO与PhysicalAI-AV上,生成推理文本占单次调用延迟的53%到70%。 在RoboMME计数套件上,TacitVLA为89.5、显式推理为86.7、无推理为79.0,而基准给出的人类参考为88.5;在RMBench四任务均值上,三者分别为77.5、77.0和60.4,均高于WLA-0的56.5。
记忆任务上,作为情景记忆的推理条目可以挪到动作执行期间生成,而不必抢在动作之前。 显式推理把生成与动作串行执行,动作必须等推理解码结束;TacitVLA先算动作,再在机器人执行这段动作块时生成下一条记忆条目,条目在两种策略下于同一边界进入账本。 RoboMME计数任务的动作路径为127毫秒,生成条目为93毫秒,落在800毫秒执行窗口的12%以内,动作127毫秒就绪,而显式推理为220毫秒;RMBench上生成耗时66到120毫秒,占7.0到11.2秒窗口的至多1.1%,两种策略的账本在99.7%的回合中保持正确。
非记忆任务上,部署时完全不生成推理文本,延迟与无推理版本一致。 显式推理在LIBERO上动作需495毫秒就绪、驾驶上269毫秒,多出的时间花在生成下一次调用根本不会用到的推理文本上。 TacitVLA在LIBERO与LIBERO-Plus上每次调用147毫秒、闭环驾驶127毫秒,与无推理版本相同,比显式推理分别低3.4倍和2.1倍;LIBERO的250毫秒窗口TacitVLA能满足而显式推理不能。
启示与展望
报告覆盖四个基准:RoboMME与RMBench为记忆任务,LIBERO与PhysicalAI-AV为非记忆任务,三者对比在同一序列、数据、提示与优化器下只改变动作专家的注意力模式。延迟在单张H100上以逐阶段计时测得,执行窗口取自各模拟器自身的控制频率。适合关注VLA推理开销与部署调度的研究者与工程师阅读。
性能依赖推理数据的质量,这一点与其他推理型VLA相同。记忆任务上延后生成不增加延迟的前提是生成能装进执行窗口,本基准中最多占窗口的23%,条目更长或窗口更短时会加上超出窗口的那部分时间。非记忆任务上仍可在动作执行期间生成推理文本用于可解释性,作者把这一用途留作后续工作。
