驾驶视频里的运动判断不能只靠提示词：六个视频语言模型提示下接近瞎猜，轻量微调后几乎全对
核心概要
在CARLA第三人称驾驶视频上，六个开源视频语言模型用标准提示、视觉提示、少样本和思维链提示判断车辆前进/后退、左转/右转、加速/减速时，准确率大多停在随机水平，并出现系统性类别偏置，例如所有模型把前进全判对、后退全判错。改用LoRA轻量微调后，除VideoLLaMA2的加速/减速外，各模型在留出集上接近满分；在视觉压缩前后提取特征训练简单分类器也能高准确率解码运动信息。这说明运动线索已存在于模型内部，但提示推理路径没有可靠地使用它。
深度剖析
驾驶视频中的基本自车运动判断，对现成视频语言模型来说并不可靠，提示层面的多种技巧都难以稳定纠正。 此前视频问答基准报告的是持续上升的分数，容易让人把流畅输出当作时间推理能力；这里把问题收窄到前进/后退、左/右、加速/减速三类二选一判断。 标准提示下多数模型接近50%，且偏置是系统性的：所有被评模型在前进上100%、在后退上0%，完全塌缩到前进类；InternVL 3.5在左/右上总体67%，但两类分别是39%和95%。
运动信息并没有在模型内部消失，轻量监督就能把它取出来。 提示失败并不等于架构缺少表征能力，问题出在监督与访问路径上。 LoRA微调在每对400段视频、80/20留出划分下，除VideoLLaMA2的加速/减速外全部接近满分；在视觉压缩前后冻结特征上训练一层CNN等简单探针，也普遍远高于提示推理，例如Qwen2.5-VL和Qwen3-VL的前进/后退从约50%升到97.5%。
运动信息在视觉管线中的去向因架构而异，但共同点是内部可解码与最终提示预测之间存在落差。 此前难以判断失败发生在视觉编码、视觉到语言的压缩，还是语言生成环节。 VideoLLaMA2在时空连接器之后性能常下降，Qwen2.5-VL和Qwen3-VL在视觉合并之后明显提升，InternVL 3.5在合并前就已高度可解码，MiniCPM-V 4.5的前进/后退从67.5%升到100%。
启示与展望
评测对象是六个开源视频语言模型：VideoLLaMA2、Qwen2-VL、Qwen2.5-VL、Qwen3-VL、InternVL 3.5和MiniCPM-V 4.5。模拟数据为CARLA第三人称视角的1200段视频，每类运动200段，60 FPS；真实数据为60段车内第一人称视频，每类10段，昼夜各半，25 FPS，仅用于标准提示。LoRA与特征探针使用每对400段视频的80/20训练与留出划分，每对留出80段。适合关注驾驶感知、视频语言模型评测与多模态推理的研究人员和工程师阅读。
真实世界评测样本量小，报告准确率本身不稳定，作者只把它当作同类偏置出现在CARLA之外的证据，并指出类别级相关性被前进/后退的塌缩抬高，不能当作独立的模拟到真实泛化度量。少样本结果每类199段查询视频，接近随机时二项标准误约3.5个百分点，几个百分点的差异不宜过度解读。作者还说明，由于没有单帧或打乱帧的对照，LoRA与探针的高准确率本身不能证明所用线索真正是时间性的，部分表现可能来自CARLA渲染中的逐帧外观线索，这留待后续工作。