跳到主要内容
检索

# 视觉-语言-动作模型

7 篇关联报道

订阅更新
  1. arXiv

    动作生成不再按块拼接:ODEAction 用常微分方程连续演化动作,EBench 平均成功率相对提升 61.8%

    视觉-语言-动作模型通常一次预测一整段未来动作,相邻动作块之间缺少显式的时间一致性约束,容易在衔接处出现动作突变。ODEAction 把动作生成改写为从当前动作出发的连续演化:学习一个动作转移场,用常微分方程积分逐步生成后续动作,不再联合预测固定长度的动作块。在 LIBERO 上平均成功率由 96.85% 升到 98.25%,在 EBench 上由 15.28% 升到 24.72%,即 61.8% 的相对提升;在 RoboTwin 五个任务上与 RTC、Legato 对比,平均成功率 84.4%,高于基线的 82.4%。

  2. arXiv

    VLA动作块执行不再只看生成是否稳定:PAV先预测前缀后果,LIBERO平均成功率94.65%

    视觉-语言-动作(VLA)策略一次查询生成一串动作,但执行多长才安全此前只能靠生成稳定性或预测一致性间接判断。PAV改为在策略自身的任务条件表示空间里预测候选前缀执行后的未来状态,并用轨迹级成败结果训练一个验证器,给出该前缀能否继续完成任务的概率。在LIBERO四个套件上,PAV平均成功率94.65%、平均每回合14.0次策略查询,高于不做未来预测的直接验证(84.55%、22.3次)和改用DINOv2特征预测的版本(87.00%、22.2次)。

  3. arXiv

    DRIVE 将成功轨迹多样性变为 RL 目标,在仿真与真机上提升 VLA 分布外泛化

    作者分析了视觉-语言-动作(VLA)策略的强化学习微调(RFT)如何重塑探索行为,发现 RFT 在整体行为分布收缩的同时使成功轨迹更加多样、更易被采样、覆盖更广的任务有效解空间;据此提出 DRIVE,将匹配任务条件下分组轨迹的时序对齐相似度转化为仅对成功轨迹生效的内在奖励,在 LIBERO-Plus、ManiSkill3、RoboTwin 2.0 上提升分布外成功率,并在双臂 AgileX PiPER-X 平台上将平均分布外成功率从 64.1% 提升到 73.3%。

  4. arXiv

    强化学习后训练视觉-语言-动作模型时,参数更新集中在仅占动作专家14.83%–27.58%的Timestep Modules,且其低秩方向可预测并提升任务成功率

    该工作系统分析了强化学习(RL)如何重塑基于流匹配的视觉-语言-动作(VLA)模型,发现RL在π0.5与GR00T N1.5/N1.6等模型、LIBERO/ManiSkill/MetaWorld/CALVIN等基准上诱导出高度集中于动作专家Timestep Modules的低秩参数更新,这些模块以14.83%–27.58%的参数占比承载了不成比例的RL性能增益,其shift向量更新方向能以最高99.6%的ROC-AUC预测任务成功,且沿该方向引导可在不额外RL训练的情况下进一步提升策略表现。

  5. arXiv

    强智能体把干预经验写成手册交给轻智能体,真实机器人操作成功率从37.3%升到64.0%

    该工作提出递归式工具带蒸馏(RHD):让强智能体(GPT-6 Astra)先与冻结的视觉-语言-动作模型交互,把有效干预策略写成可复用的“手册”,再用轻智能体(GPT-5.6 Luna)的执行反馈递归修订手册,从而在不更新任何模型参数的前提下提升操作表现——真实世界操作成功率由37.3%提升至64.0%,在SimplerEnv Bridge上轻智能体带手册达到66.7%(GR00T单独为41.7%),同一手册也让强智能体达到79.2%。

  6. arXiv

    HuRo把五个人类视频源转成约1.42亿帧机器人化数据,ALEX真机预训练把OOD完成度从34.9%推到72.2%

    HuRo提出一套把异构第一人称人类视频转成机器人对齐观测与动作轨迹的机器人化流水线,构建了来自EgoDex、EgoVerse、Ego4D、Ego10K和EPIC-Kitchens五个来源、约1.42亿帧的HuRo数据集,并在ALLEX双臂灵巧机器人上对VLA策略做预训练:随机器人化数据量增加,四个真机操作任务的平均完成度从无预训练的51.5%提升到全量预训练的80.3%,ID完成度从68.1%升到88.4%,OOD完成度从34.9%升到72.2%。

  7. arXiv

    ART 把 VLA 模型改造成会调用工具的机器人智能体,在仿真与真实任务上成功率比主流基线高 20%

    该工作提出 Agentic Robot with Tool-use(ART),一个工具注入框架,可调优任意 VLA 模型去调用现成工具模块,用于低层视觉、高层可供性与具身增强;作者构建了 30K 条工具使用轨迹与动作演示的数据集,并设计了面向挑战性环境的长轨迹工具使用推理训练方案,实验显示 ART 在仿真与真实任务(如新视角下的暗光抓取放置)上成功率比主流基线高 20%。

已读完全部报道