机器人数据不再靠遥操作:智能体把一次标定片段编译成仿真任务,真机成功率93比84
北京大学与英伟达的 DataFarm 让编码智能体接手遥操作员的工作:只给一次标定片段和一条数据请求,智能体就在仿真里重建场景、写出专家控制器与成功判定,再由以真实图像为条件的视频模型渲染出带动作标签的多视角视频。在五项双臂真机任务上,只用农场数据训练的策略在原始场景取得100次试验93次成功,与同等数量遥操作数据的84次相当;在训练集未出现的桌布与彩色灯光下保持87次,遥操作策略降到46次。
北京大学与英伟达的 DataFarm 让编码智能体接手遥操作员的工作:只给一次标定片段和一条数据请求,智能体就在仿真里重建场景、写出专家控制器与成功判定,再由以真实图像为条件的视频模型渲染出带动作标签的多视角视频。在五项双臂真机任务上,只用农场数据训练的策略在原始场景取得100次试验93次成功,与同等数量遥操作数据的84次相当;在训练集未出现的桌布与彩色灯光下保持87次,遥操作策略降到46次。
毫米波雷达的人体微多普勒长期缺少可规模化的数据来源,现有模拟器只做前向仿真、学到的生成器把场景藏在网络权重里,静态场景反演渲染器又没有慢时间轴,因此都无法拟合一段真实的人体运动采集。4DPS把场景表示为带材质、法向和速度的有向点,用闭式多普勒点扩散函数把每个点直接撒进距离与多普勒单元,输出真实雷达记录的原始复数回波。在HuPR与RT-Pose上,拟合后的渲染在微多普勒上取得0.988和0.966的中位相关,仅用渲染数据训练的位姿模型在真实数据上保留0.59和0.76的真实训练精度。
已读完全部报道