跳到主要内容
返回时间线
arXiv来源发表:

月球车对接改由视觉-语言-动作策略直接驾驶:强扰动下成功率反超模块化管线,推理次数还少一半

核心概要

月球车自主对接此前依赖感知、建图、规划分工的模块化管线,感知误差会逐级传到规划。研究者在LuPNT月球模拟器中用特权专家生成安全示范,训练一个以Qwen3.5-4B为骨干的视觉-语言-动作策略,从单目相机和鸟瞰图直接输出航点。在训练中未见的尘埃与光学扰动下,该策略在六种扰动条件中的五种取得更高对接成功率,最强扰动下优势最大;自适应执行时域在保持90%对接成功率的同时,把每个成功场景的策略推理次数从固定2米时域的17.16次降到8.36次。

Source-provided article image: End-to-End Vision-Language-Action Policies for Autonomous Lunar Rover Docking
arXiv

深度剖析

月球车对接现在可以由一个端到端策略直接从相机图像输出行驶航点,不再经过独立的感知、建图与规划模块。 此前的行星车自主导航采用模块化管线,中间表示可解释、安全约束明确,但感知误差会传播到下游规划。 在LuPNT模拟器中,该策略与使用同一Hybrid A*规划器、但基于在线估计危险信息的模块化基线对比,在六种传感器扰动条件中的五种取得更高对接成功率,最强扰动下优势最大。

策略把单目相机图像和一张在线累积的鸟瞰图一起送入视觉语言模型,一次推理给出十个间隔0.8米的航点。 鸟瞰图由连续相机帧经单应变换投影到假定地面平面、再与模拟里程计配准得到,用来保留已移出视野的危险物。 在留出验证样本上,加入鸟瞰图把执行时域的分箱准确率从75.51%提高到81.15%,把按执行时域截断的期望危险接触率从2.13%降到1.89%。

策略根据预测的曲率条件执行时域决定何时重新推理,在开阔处一次执行更远,在危险附近更频繁地闭环修正。 固定时域需要在推理频率与闭环安全之间二选一,时域越长越容易累积航点预测误差。 自适应时域取得90%对接成功率和10%危险接触率,固定2米时域为90%和9%,但自适应时域每个成功场景只需8.36次推理,固定2米时域需17.16次,少51.3%。

启示与展望

评测全部在基于Unreal Engine的LuPNT月球模拟器中进行,场景由程序生成、使用训练数据合成时未见的种子,初始车-着陆器距离30至50米;策略只在无视觉增强的干净数据上训练,扰动条件属于分布外测试。

策略在扰动下仍对退化观测敏感,危险接触占其失败场景的87%(158/182),50%尘埃不透明度和高光学强度下危险接触分别为100个场景中的42个和33个;预训练与架构各自带来的鲁棒性贡献未被分离;推理延迟在RTX 5090上中位数为225毫秒,作者用理论模型估计Jetson AGX Thor上约为340毫秒。