自动驾驶规划器补上缺失的未来画面：沿候选轨迹渲染，NAVSIM v1 从 86.2 升到 91.3
核心概要
自动驾驶世界行动模型在强化学习后训练时会探索日志里没有的候选轨迹，但驾驶日志只记录实际行驶轨迹的未来视频，这些候选因此缺少匹配的视觉监督。SimVTA 用基于 3D 高斯泼溅重建真实场景的模拟器，沿候选轨迹渲染未来视频作为与预测无关的目标，并按轨迹奖励和视频预测误差挑选高奖励、高误差的未来帧做流匹配监督，同时用 GRPO 优化轨迹。在 NAVSIM v1 上，它把 Epona 初始化的 PDMS 从 86.2 提升到 91.3，NAVSIM v2 上 EPDMS 从 85.0 升到 88.2，HUGSIM 闭环平均 HD-Score 为 38.8。
深度剖析
后训练阶段，规划器会采样日志中不存在的候选轨迹，这些候选此前拿不到对应的未来画面监督。 驾驶日志只为实际记录的轨迹保存未来视频，候选转弯而记录直行时，日志视频并不显示该动作的视觉后果；直接复用会形成错误的轨迹-视频配对，而放弃视频训练则让候选完全没有视觉监督。 在 NAVSIM v1 上，加入视频监督后 PDMS 从仅用轨迹 GRPO 与 BC 的 89.1 升到 91.3，而只让视频损失更新视频网络、不更新共享编码器时仍为 89.1。
做法是先用模拟器为高奖励候选渲染未来视频，再按预测误差挑出高奖励、高误差的未来帧做视频监督。 渲染预算有限，因此先按轨迹奖励排序选出可渲染候选，再在已渲染候选中保留预测误差不低于场景均值的子集，即 Q2。 在相同四候选渲染预算下，Q2 流匹配监督达到 91.3 PDMS，而把监督扩到 Q1+Q2 为 91.0，对全部有效渲染候选做视频 GRPO 为 91.0；把渲染目标在同一场景内打乱后降到 83.1。
视频监督的梯度会回传到规划所用的共享表示，而不只更新视频网络。 此前视频预测与轨迹规划可以各自训练，视频损失不改变规划表示。 视频损失只更新视频网络时 PDMS 为 89.1，同时更新视频网络与共享编码器时升到 91.3，且该优势在三个随机种子上都成立。
启示与展望
这套后训练在 NAVSIM v1、NAVSIM v2 和 HUGSIM 上验证，推理时规划器直接输出轨迹，不需要调用模拟器或生成未来视频。训练使用 World Engine 的 3D 高斯泼溅模拟器渲染候选轨迹的未来视频，并以 Epona 检查点作为初始化。作者把对替代世界行动模型架构的泛化、以及观测历史偏移和反应式交通下的鲁棒性评估列为后续工作。
渲染质量受遮挡和位姿覆盖限制，远离记录路径处可能退化，而渲染指标只在记录视角上评估；高预测误差可能来自模型能力，也可能来自质量不佳的模拟目标。观测历史仍来自日志，渲染目标与真实图像存在差异，教师强制式的目标选择也无法反映自回归误差累积。在 NAVSIM v2 上，整体 EPDMS 提升的同时，交通灯合规从 99.7 降到 99.0，扩展舒适度从 67.6 降到 60.0。