# 视频-语言模型

在CARLA第三人称驾驶视频上，六个开源视频语言模型用标准提示、视觉提示、少样本和思维链提示判断车辆前进/后退、左转/右转、加速/减速时，准确率大多停在随机水平，并出现系统性类别偏置，例如所有模型把前进全判对、后退全判错。改用LoRA轻量微调后，除VideoLLaMA2的加速/减速外，各模型在留出集上接近满分；在视觉压缩前后提取特征训练简单分类器也能高准确率解码运动信息。这说明运动线索已存在于模型内部，但提示推理路径没有可靠地使用它。

在CARLA第三人称驾驶视频上，六个开源视频语言模型用标准提示、视觉提示、少样本和思维链提示判断车辆前进/后退、左转/右转、加速/减速时，准确率大多停在随机水平，并出现系统性类别偏置，例如所有模型把前进全判对、后退全判错。改用LoRA轻量微调后，除VideoLLaMA2的加速/减速外，各模型在留出集上接近满分；在视觉压缩前后提取特征训练简单分类器也能高准确率解码运动信息。这说明运动线索已存在于模型内部，但提示推理路径没有可靠地使用它。

该工作提出 AbSteering 框架，通过异常中心思维链训练与基于直接偏好优化的细粒度异常判别两阶段方法，将通用视频语言模型适配到高分辨率 CT 报告生成，并构建 CT-RATE-AB 数据集；结果显示通用视频语言模型在有限数据下可有效迁移到三维医学影像，在细粒度临床效能指标上达到当前最优，检出敏感度优于用大规模 CT 预训练的领域专用 CT 基础模型，同时减少幻觉。

该工作提出 AbSteering 框架，通过异常中心思维链训练与基于直接偏好优化的细粒度异常判别两阶段方法，将通用视频语言模型适配到高分辨率 CT 报告生成，并构建 CT-RATE-AB 数据集；结果显示通用视频语言模型在有限数据下可有效迁移到三维医学影像，在细粒度临床效能指标上达到当前最优，检出敏感度优于用大规模 CT 预训练的领域专用 CT 基础模型，同时减少幻觉。