自动驾驶规划器不再只学记录轨迹:仿真渲染补上候选路线的未来画面,NAVSIM v1 从 86.2 升到 91.3
导语
自动驾驶世界动作模型在强化学习后训练中探索出的候选轨迹缺少匹配的未来视频,SimVTA 用 3D 高斯泼溅重建场景沿候选路径渲染未来画面,在 NAVSIM v1 上把 PDMS 从 86.2 提到 91.3。
正文
后训练阶段,规划器会采样出记录轨迹之外的候选路线,这些候选路线此前拿不到与之匹配的未来视频,只能靠驾驶奖励来学。 驾驶日志只为实际记录的那条轨迹保存未来视频,候选路线转弯而记录轨迹直行时,日志视频并不显示该动作的视觉后果。 把渲染目标在同一场景内跨轨迹条件打乱后,PDMS 从 91.3 掉到 83.1,说明收益依赖轨迹与视频的正确配对,而不只是多加了视频监督。
做法是先用仿真器为高奖励候选渲染未来视频,再用流匹配损失让视频预测与轨迹规划共享同一套表征。 渲染预算有限,所以先按轨迹奖励挑出候选,再在这些已渲染候选中优先监督预测误差较高的未来画面。 在 NAVSIM v1 上,视频损失只更新视频网络时 PDMS 为 89.1,同时更新共享编码器后升到 91.3;把渲染预算从四个候选翻倍到八个,PDMS 为 91.2,与 91.3 基本持平。
接下来
这套框架在 Epona 骨干上验证,后训练数据取自 NavTrain 中已有 World Engine 场景重建的样本,渲染由基于 3D 高斯泼溅的仿真器完成。评估覆盖 NAVSIM v1 与 v2 的 NavTest 划分,以及同一批 345 个 HUGSIM 预挑战场景的闭环驾驶,指标为 PDMS、EPDMS、路线完成度与 HD-Score。推理阶段模型直接从观测历史预测轨迹,不做仿真器调用、不生成未来视频、也不做基于视频的重排序。
遮挡与位姿覆盖有限会让记录路径之外的渲染质量下降,而渲染指标只在记录视角上评估,即使经过安全与位姿支持检查,渲染伪影仍可能出现。预测误差偏高既可能来自模型能力,也可能来自仿真目标质量。观测历史仍来自日志,渲染目标与真实图像存在差异,教师强制式的目标选择也无法反映自回归误差的累积。作者把偏移观测历史与反应式交通下的鲁棒性评估留作后续工作,并指出该框架只在 Epona 骨干上验证,向其他世界动作模型架构的泛化同样留待后续。
