跳到主要内容
返回时间线
arXiv来源发表:

自动驾驶规划不再靠事后纠错:把反思指导压进单次推理,训练时间从5.3小时降到1.3小时

导语

自动驾驶VLA模型把带评估诊断的反思指导当作训练期特权信息,通过双路径在线自蒸馏内化到直接轨迹生成中,推理时单次出轨迹,NAVSIM v1上4B模型PDMS达91.5,训练时间比强化学习基线减少九成以上。

Source-provided article image: Reflect-VLA: Internalizing Reflective Guidance via Dual-Path On-Policy Self-Distillation for Autonomous Driving
Figure 1 · arXiv

正文

自动驾驶的视觉-语言-动作模型现在可以在不借助任何外部评估反馈的情况下,一次前向就生成安全轨迹,因为训练阶段把“先预测、再评估、再纠正”这套反思流程压缩进了模型自身的参数里。 此前这类模型要么只靠一个标量轨迹奖励来优化,这个分数能指出轨迹差,却说不清错误出在场景理解、行为选择还是轨迹执行,也给不出该怎么改;要么必须在推理时额外跑一轮预测—评估—纠正的迭代。 在NAVSIM v1上,0.8B、2B、4B三个规模的模型分别取得89.3、90.0、91.5的PDMS,比各自对应的强化学习基线高0.5、0.8、0.3分,其中4B版本拿到该表最高的整体PDMS。

做法是让同一个模型在不同输入条件下分别扮演学生和老师:学生只看部署时能拿到的标准输入,老师额外看到由评估结果生成的反思指导,学生把自己生成的轨迹交给老师逐词打分,从而学会老师那种更保守的走法。 反思指导由四部分模板化文本组成,分别是轨迹判定、规划诊断、专家对齐和修正指令,它把标量评估结果和与参考轨迹的几何差异转成结构化的、针对具体轨迹的纠正监督,不需要再引入另一个视觉语言模型或人工标注。 训练分三段推进:先做驾驶知识预训练,再做规划与修正的监督微调,最后用自修正拒绝采样,只保留模型自己 rollout 中经评估器验证确实优于初始轨迹的修正样本,以缩小离线修正数据与在线轨迹之间的分布差距。

蒸馏时按轨迹质量分流:评估分数只用来决定一条轨迹走哪条学习路径,可靠轨迹走自保目标维持原有决策,风险轨迹才接收老师逐词级别的纠正分布。 此前的强化学习把轨迹级奖励压成一个值,不同失败原因拿到相近的低分,长尾场景里反复低奖励的 rollout 让策略优化效率很低。 在NAVSIM v1上,带指导的老师比无指导学生分别高出6.1、5.3、4.8 PDMS,蒸馏后学生自身提升3.0、2.6、3.1 PDMS,明显缩小了与老师的差距;每万样本训练时间上,0.8B模型从GRPO的5.3小时降到OPSD的1.3小时,2B和4B分别只需1.7和2.4小时。

接下来

报道覆盖的是训练框架与基准评测:模型在NAVSIM v1/v2这两个基于仿真的规划基准上做轨迹生成评测,闭环驾驶评测在Bench2Drive上进行,另在nuScenes上报告开环L2误差与碰撞率,训练使用Qwen3.5-0.8B/2B/4B与8张NVIDIA H20。适合关注自动驾驶VLA后训练与蒸馏方法的研究者和工程师阅读。原文未提出下一步实验计划。

自修正拒绝采样单独使用时PDMS从88.5略降到88.4,原文推测是继续在修正样本上训练导致基础规划能力部分遗忘;与OPSD结合后才把分数从90.2提到91.5。路由阈值从0.65升到0.85逐步改善PDMS,但0.95时回落到91.2,说明把大量本已可靠的轨迹也送去蒸馏可能干扰学生已有的有效行为。蒸馏支撑集从16增到64把PDMS从90.2提到91.5,继续增到256或全词表只有边际收益。

来源