跳到主要内容
检索

# 视频理解

4 篇关联报道

订阅更新
  1. arXiv

    视频模型学会看证据决定要不要推理:EVAThink用6.7K样本在32帧下平均63.5%,输出比全推理短约62%

    EVAThink把“这段采样帧够不够直接回答”变成训练信号:同一问题、同一答案下构造证据密集与证据稀疏两种视频视图,只保留稀疏视图直接作答变差、但显式推理能补回来的样本对,再用两阶段强化学习教模型在直接作答与推理之间切换。训练仅用6.7K样本,在32帧与64帧固定预算下六个视频理解基准的平均分分别为63.5%和65.6%,均高于基座Qwen3-VL-8B-Instruct;64帧下自适应模式比纯直接作答和纯推理分别高2.3和3.6个百分点,输出长度比纯推理少约62%。

  2. arXiv

    驾驶视频里的运动判断不能只靠提示词:六个视频语言模型提示下接近瞎猜,轻量微调后几乎全对

    在CARLA第三人称驾驶视频上,六个开源视频语言模型用标准提示、视觉提示、少样本和思维链提示判断车辆前进/后退、左转/右转、加速/减速时,准确率大多停在随机水平,并出现系统性类别偏置,例如所有模型把前进全判对、后退全判错。改用LoRA轻量微调后,除VideoLLaMA2的加速/减速外,各模型在留出集上接近满分;在视觉压缩前后提取特征训练简单分类器也能高准确率解码运动信息。这说明运动线索已存在于模型内部,但提示推理路径没有可靠地使用它。

  3. arXiv

    视频大模型压缩不再全图比对:借压缩码流里的运动与残差,比对量降六成

    视频大模型压缩视觉token时,压缩决策本身也要做大量特征比对。新方法把压缩视频里已有的参考帧依赖、运动矢量和残差对齐到token网格,用它们先圈出小候选集,再在候选集内做局部视觉相似度判断。在三个视频大模型和四个视频理解基准上,性能与免训练基线FlashVID相当、部分设置更好,token保护与跨帧匹配的比对量明显下降。

  4. arXiv

    Omni-Decision 用证据账本替代对话历史,在 OmniGAIA 上取得 81.4% 准确率且成本约为 Gemini-3.1-Pro 的 43%

    该工作提出 Omni-Decision 全模态智能体,用显式证据账本取代不断增长的对话历史,由 critic 过滤噪声观测、只把可用内容写入账本,使规划器全程在紧凑上下文中工作,并在每步记录状态、动作与判定,用监督微调和决策级强化学习进一步改进规划器;结果显示其在 OmniGAIA 上达到 81.4% 的最先进准确率、每题成本约为 Gemini-3.1-Pro 的 43%,在 WorldSense 长视频理解上达到 65.0%,与最强端到端模型持平。

已读完全部报道