跳到主要内容
返回时间线
NVIDIA Blog来源发表:

机器人练精细装配不再只靠真机:Isaac Lab 3.0 接上 Newton,训练吞吐最高达 2.5 倍

核心概要

英伟达在 CoRL 上发布开源机器人技术组合,包括基于 Cosmos 的世界动作模型 GR00T 2、仿真框架 Isaac Lab 3.0 与评估框架 Isaac Lab-Arena。Isaac Lab 3.0 与开源物理引擎 Newton 更紧密集成,可模拟线缆、布料等可变形物体和多关节机械手;在基于视觉的灵巧操作基准上,Isaac Lab 3.0 配 Newton 的训练吞吐最高达到 Isaac Lab 2.3 配 PhysX 的 2.5 倍。GR00T 2 在每项任务仅一条演示时于 50 项任务上平均成功率为 71%,五条演示时升至 95%。

Source-provided article image: Practice Makes Precise: At CoRL, NVIDIA and Partners Reveal How Robots Rehearse Delicate Work in Simulation
NVIDIA Research

深度剖析

机器人学习的仿真重点正从行走、翻滚、跳跃等运动任务转向齿轮对齐、线缆连接和小零件装配这类需要更精细手感的操作任务,英伟达在 CoRL 上发布的一批开源工具面向的正是这一转变。 此前的仿真主要作为机器人学习运动技能的试验场,而精细操作对物理精度和数据规模提出了不同要求。 英伟达同时公布了世界动作模型、仿真工具、基准和智能体工作流,并与 Ambi Robotics、Bosch Research、Siemens、UC Berkeley 等伙伴合作把这些技术推向更广的机器人社区。

Isaac Lab 3.0 让研究者用智能体快速搭建训练环境,在 PhysX 与 Newton 两种物理求解器之间切换,并为 GR00T 等基础模型提供新的强化学习后训练库。 与 Newton 的更紧密集成使 Isaac Lab 能够建模线缆、布料等可变形物体,以及多关节相互作用的机械手等复杂铰接系统。 在基于视觉的灵巧操作基准上,Isaac Lab 3.0 配 Newton 的训练吞吐最高达到 Isaac Lab 2.3 配 PhysX 的 2.5 倍,二者结合可并行训练数千个仿真机器人。

基于 Isaac Lab 构建的 AlphaNIST 用单一策略学会 NIST 装配任务板上的全部 20 项任务,仅凭成功或失败的二元信号操作毫米级零件。 按任务分别训练的策略在同一任务板上训练成功率为 81%。 AlphaNIST 的训练成功率超过 98%,且所用 GPU 时间约为前者的 1/39;其背后的 Success-Guided Sampling 把练习集中在策略成功率约一半的任务上,使训练可扩展到百万级并行环境。

启示与展望

已展示的范围集中在仿真环境中的训练与评估:Isaac Lab 3.0 与 Newton 的吞吐对比来自基于视觉的灵巧操作基准,AlphaNIST 的结果来自 NIST 装配任务板的 20 项任务,GR00T 2 的成功率来自 50 项评估任务。面向的读者是机器人学习研究者与工程团队,Nexuni、Foxconn、Siemens 等对 GR00T 2 的使用处于测试、应用或评估阶段。

GR00T 2 的 71% 与 95% 平均成功率分别对应每项任务一条和五条演示,二者是不同数据条件下的结果;Isaac Lab-Arena 0.4 以开发者预览形式发布;DexBench 的部分评估方(Genesis AI、mimic robotics 等)处于早期访问阶段。