ACT3三流Transformer让动作专家独占语义与动力学整合,RoboCasa成功率从59.4%升至71.2%
作者提出ACT3,一种以动作为中心的三流Transformer:语义流(VLM)与动力学流(世界模型)各自独立前向计算,仅由动作专家通过逐层注意力读取两者的键值,并在动作监督下联合优化。在RoboCasa 24项厨房任务上成功率达71.2%(基线59.4%),LIBERO平均98.6%(基线96.9%),LIBERO-Plus分布偏移下82.4%(基线68.4%)。
作者提出ACT3,一种以动作为中心的三流Transformer:语义流(VLM)与动力学流(世界模型)各自独立前向计算,仅由动作专家通过逐层注意力读取两者的键值,并在动作监督下联合优化。在RoboCasa 24项厨房任务上成功率达71.2%(基线59.4%),LIBERO平均98.6%(基线96.9%),LIBERO-Plus分布偏移下82.4%(基线68.4%)。
已读完全部报道