跳到主要内容
返回时间线
arXiv来源发表:

自动驾驶规划不再只吃一个分数:把反思指导压进单次推理,训练时间省九成

核心概要

自动驾驶的视觉-语言-动作模型过去靠一个标量轨迹分数学习,分数低却说不清是场景理解、行为选择还是轨迹执行出错。Reflect-VLA把带评估诊断与纠正建议的反思指导当作只在训练时可见的特权信息,用双路径在线策略自蒸馏把纠正偏好写进直接生成轨迹的策略:风险轨迹对齐教师的词元级纠正分布,可靠轨迹做自模仿保留。在NAVSIM v1/v2与Bench2Drive上取得有竞争力的规划表现,训练时间比强化学习减少九成以上,推理时单次生成、不需要指导或迭代修正。

Source-provided article image: Reflect-VLA: Internalizing Reflective Guidance via Dual-Path On-Policy Self-Distillation for Autonomous Driving
Figure 1 · arXiv

深度剖析

自动驾驶规划模型现在可以在没有评估反馈的情况下,一次前向就生成经过纠正的轨迹。 此前的强化学习路线只用标量轨迹奖励,它能量出轨迹整体好坏,却分不清错误来自场景理解、行为选择还是轨迹执行,在长尾场景里这些异质失败被压成一个分数。 在NAVSIM v1上,0.8B、2B、4B三个规模的模型分别取得89.3、90.0、91.5的PDMS,比各自对应的强化学习基线高0.5、0.8和0.3分。

纠正信号来自同一个模型在另一种输入条件下的输出,而不是额外的奖励模型或人工标注。 反思指导由轨迹评估结果、与参考轨迹的几何差异和导航指令按确定性模板拼成,包含轨迹判定、规划诊断、专家对齐和修正指令四部分,因此不需要再引入一个视觉语言模型。 同一检查点在只给基础输入时充当学生,在额外接收反思指导时充当冻结教师;学生先自行采样轨迹,再由规划分数按阈值0.85分流,风险轨迹用词元级反向KL对齐教师分布,可靠轨迹用自模仿保留。

教师不是现成模型,而是按学生实际会犯的错误逐步造出来的。 离线构造的初始轨迹未必覆盖模型自己采样时出现的失败模式,教师与学生的分布因此存在错位。 教师经过驾驶知识预训练、规划与修正监督微调、自修正拒绝采样三个阶段构建,最后一步只保留评估器验证过、且优于初始轨迹的修正样本;消融显示单独加入拒绝采样会把PDMS从88.1降到88.4,但与在线自蒸馏合用时把分数从90.2提到91.5。

启示与展望

报道覆盖的是NAVSIM v1/v2与Bench2Drive上的开环和闭环评测,以及nuScenes上的开环轨迹评测,模型规模为0.8B、2B、4B,训练在8张NVIDIA H20上完成。适合关注端到端驾驶规划、视觉-语言-动作模型后训练与蒸馏方法的研究人员和工程师阅读。原文未给出下一步实验计划。

反思指导依赖轨迹评估结果与参考轨迹,构造需要一次初始预测及其评估;路由阈值0.85是在修正与保留之间取的折中,阈值升到0.95会蒸馏到本已可靠的轨迹并可能扰动有效行为。蒸馏支撑集从16增到64带来提升,继续增到256或全词表只有边际收益。