驾驶视频里的运动判断不能只靠提示词:六个视频语言模型提示下接近瞎猜,轻量微调后几乎全对
在CARLA第三人称驾驶视频上,六个开源视频语言模型用标准提示、视觉提示、少样本和思维链提示判断车辆前进/后退、左转/右转、加速/减速时,准确率大多停在随机水平,并出现系统性类别偏置,例如所有模型把前进全判对、后退全判错。改用LoRA轻量微调后,除VideoLLaMA2的加速/减速外,各模型在留出集上接近满分;在视觉压缩前后提取特征训练简单分类器也能高准确率解码运动信息。这说明运动线索已存在于模型内部,但提示推理路径没有可靠地使用它。