信号灯不再先做结构化感知:Traffic-VL 直接看多路摄像头,三周十个路口平均排队缩短10.4%
核心概要
交通信号控制此前多依赖专用感知流程产出的结构化车流状态,或把仿真图像先转成中间表示再决策。Traffic-VL 用80亿参数视觉语言模型把同步多视角图像与自然语言相位描述直接映射为相位选择,并配套 SynTra-V 把物理仿真转成经语义审计的逼真监控图像用于训练。在五个闭环基准上它与使用结构化状态的 Traffic-R1 相当,在真实监控图像上相位选择准确率为82.1%,三周十个路口实地运行相对人工历史操作把平均排队长度降低10.4%。
深度剖析
信号控制器现在可以直接从路口摄像头的多视角图像和自然语言写成的相位说明选出绿灯相位,不再需要先由专用感知流程把画面折算成车道级车流状态。 此前的视觉方法多在仿真器原生渲染图上训练,并把图像转成中间交通表示或交给另一个控制器,视觉理解与控制优化分处两个阶段。 在济南与杭州五个闭环基准上,Traffic-VL 与使用结构化状态的 Traffic-R1 表现相当,配对等效性检验在平均行程时间与平均等待时间两项指标上支持等效;在济南1上其平均行程时间为269.71秒,而 Gemini 3 Pro 为333.06秒、适配后的 VLMLight 为300.53秒。
模型把每张摄像头画面编码成视觉词元,与描述各候选相位放行哪些转向动作的自然语言文本一起送入同一个80亿参数模型,由模型在图像中定位这些车道并比较其车流需求。 训练分两步:先在经语义审计的 SynTra-V 逼真图像上用专家相位标签做离线强化学习,再在闭环仿真中用 STPO-V 按长时段交通结果优化策略,并在在线阶段冻结视觉编码器。 离线阶段使用约5000个覆盖不同城市风格与交通密度的逼真多视角样本;在线阶段在 CityFlow 中与仿真器闭环交互,视觉编码器冻结,其余参数全部更新。
启示与展望
演示范围包括济南与杭州五个闭环仿真基准、OmniTraffic 的十二个未见路口、含1296个样本的真实监控基准 Real-1296,以及同一交通管理平台上十个相连干道路口为期三周、覆盖十五个工作日晚高峰的实地运行;模型输出的是相位优先级建议,由既有信号控制器在最小最大绿时、行人相位和黄灯全红清空等约束下执行。
每次决策只使用同步的多视角静态图像而非视频,模型在单步推理时没有显式的运动历史;作者也指出模型会继承视觉语言骨干的残余感知错误与幻觉,在罕见的安全关键场景中可能漏掉应急车辆或错误地给普通车辆优先,多路口协同中错误的方向流量消息还可能传播到相邻控制器。
