跳到主要内容
返回时间线
NVIDIA Technical Blog来源发表:

英伟达把驾驶推理模型压进车载芯片:闭环强化学习后驾驶表现提升48.9%,像素到轨迹延迟160至190毫秒

核心概要

英伟达发布面向车载部署的推理型视觉-语言-动作模型 Alpamayo 2 Edge,以20亿参数的 Nemotron 推理骨干搭配扩散动作专家,在 DRIVE AGX Thor 上按需生成因果链推理与未来轨迹。在 AlpaGym 中做闭环强化学习后训练,使其闭环驾驶表现比未做该后训练的最佳检查点提升48.9%;按官方部署配方优化后,像素到轨迹的推理延迟为160至190毫秒,具体取决于推理量。

Source-provided article image: Running AV Reasoning Models Within Onboard Compute and Latency Limits
Figure 1 · NVIDIA 开发者技术博客

深度剖析

车载驾驶模型现在可以在推理预算内同时给出因果链推理和行驶轨迹,而不必把大模型原样搬上车。 更大的模型为这类能力提供基础,但要装进车里还需缩小模型、保住有用的推理,并在目标硬件上验证性能。 在 AlpaGym 中做闭环强化学习后训练后,闭环驾驶表现比未做该后训练的最佳检查点提升48.9%。

模型只在需要时生成推理,常规驾驶时输出特殊的 <NOMINAL> 标记代替推理文本,从而省下推理算力。 这一自适应机制与离线蒸馏、多分辨率环视输入、DFlash2 推测解码、量化与 TensorRT 部署配方共同构成容量与效率的平衡方案。 按部署配方在 DRIVE AGX Thor-X、DRIVE OS 7.2.7.0、CUDA 13.4、TensorRT 11.3.1.9 的参考配置上测得,优化后模型像素到轨迹延迟为160至190毫秒。

推理质量本身被单独度量:AlpaJudge 是经人工校准的评估与奖励模型,用来给推理轨迹打分、挑选训练数据并提供强化学习奖励。 轨迹指标只描述规划与驾驶,推理评估还要判断解释是否抓住相关场景上下文并支撑其描述的决策。 在固定构造区样本上,AlpaJudge-RB 对齐概率为0.999,AlpaJudge-RF 总分为0.842,其五个子项分别评估动作与参考一致性、动作安全性、组件接地、组件完整性与因果一致性。

启示与展望

已展示的范围是英伟达在 DRIVE AGX Thor-X 参考配置上按部署配方完成的延迟与配对质量检查,以及合作方在自有数据上的早期仿真测试;读者对象是准备在车载栈中部署推理式驾驶模型的开发者。

延迟160至190毫秒随推理量变化,并非固定值;合作方结果来自早期仿真测试与零样本评估,其中 Niulinx 的评估存在传感器配置的显著差异;推理得分高只说明解释符合评分模型的准则,需与碰撞、偏离道路等驾驶指标一起报告。