跳到主要内容
返回时间线
arXiv来源发表:

机器人起飞前先“想象”走廊:视频扩散生成虚拟视角,RRT在重建障碍图上另找可行路径

导语

单张RGB图像加一句任务描述,视频扩散模型生成虚拟相机视角,ORB-SLAM3与稠密深度对齐后重建出可规划的三维空间;19场景中可规划场景从P20的13/19升到P81的15/19。

Source-provided article image: HorizonNav: Geometry-Guided Video Diffusion for Anticipatory 3D Robot Navigation
Fig. 1 · arXiv

正文

机器人可以在起飞前先根据一张RGB图像和一句任务描述,生成若干虚拟相机视角,并把这些视角重建成一个带障碍物的三维空间,供路径规划使用。 此前生成式世界模型多把预测观测直接用于评估候选动作或导出航点,最终决策仍系于生成序列或学到的世界表示。 19场景的视界研究中,可规划场景从P20的13/19增至P81的15/19,RRT成功试验从62/90增至75/90,说明更多虚拟视角能暴露对规划器有用的几何证据。

生成视频只当作虚拟观测来源,不当作机器人要执行的轨迹;规划器在重建出的障碍表示上独立搜索路径。 生成轨迹本身未必安全可执行,生成视角还可能带有形变或不一致遮挡,改变自由空间连通性。 走廊研究32个分支前缀案例中25个可在同一度量地图中评估,其中6条生成相机轨迹违反0.20米碰撞判据,独立RRT在其中5例找到可行替代路径。

稠密深度图不能仅因时间上平滑就被当作障碍证据,加入稠密几何有时反而降低规划可用性。 稀疏SLAM重建在S06门洞场景支持5/5次RRT成功,而校正后的稠密VDA+SLAM几何把该开口封住,成功率为0/5。 该对照使用同一碰撞几何,说明稠密预测在局部深度误差下会制造假障碍,实验并不支持VDA融合比稀疏SLAM更准确。

接下来

报告面向做机器人导航、SLAM与生成式世界模型的研究人员和工程师。实验覆盖室内场景、一个被评估的视频生成器、固定结构化提示且无提示消融,规划层为RRT,地面机器人与无人机共用同一框架。源文提出的下一步包括加入协议匹配的单图像深度基线、针对独立三维真值的表面级重建指标、生成器与提示消融、更广的机器人与环境测试,以及在新物理观测到来时接受、修正或拒绝想象几何的在线验证。

源文把结论限定为:生成虚拟观测在某些场景能提供足够的可跟踪结构用于运动前规划,而非证明真实未见三维场景已被恢复。全局尺度一致性、局部表面精度与规划可用性是三种不同性质;LiDAR诊断只在选定的匹配结构地标上给出约0.30米平均偏差,不是完整表面重建基准。6次实机飞行只提供所测门洞构型下的有限端到端证据,不是对一般重建精度的统计验证。

来源