跳到主要内容
返回时间线
arXiv来源发表:

视频模型学会看证据决定要不要推理:EVAThink用6.7K样本在32帧下平均63.5%,输出比全推理短约62%

核心概要

EVAThink把“这段采样帧够不够直接回答”变成训练信号:同一问题、同一答案下构造证据密集与证据稀疏两种视频视图,只保留稀疏视图直接作答变差、但显式推理能补回来的样本对,再用两阶段强化学习教模型在直接作答与推理之间切换。训练仅用6.7K样本,在32帧与64帧固定预算下六个视频理解基准的平均分分别为63.5%和65.6%,均高于基座Qwen3-VL-8B-Instruct;64帧下自适应模式比纯直接作答和纯推理分别高2.3和3.6个百分点,输出长度比纯推理少约62%。

AI-generated editorial illustration: EVAThink: Evidence Sufficiency-Guided Training for Adaptive Thinking in Video Understanding

深度剖析

视频理解模型在固定帧预算下不再一律直接作答或一律推理,而是按采样帧是否足以支撑答案来选择回答方式。 此前的自适应推理方法多用初始答案置信度或答案质量与生成成本的权衡来决定是否推理,跨不同证据条件的监督较少被利用。 在32帧与64帧固定预算下,EVAThink在六个视频理解基准上的平均分为63.5%和65.6%,分别比Qwen3-VL-8B-Instruct高0.6和1.4个百分点,且在每个基准上都优于该基座。

训练数据来自同一问题与答案下证据密集和证据稀疏两种视图的对比,而不是人工标注的推理示范。 稀疏视图直接作答准确率下降、但显式推理能提升准确率的样本对才被保留,这类样本对把证据条件与推理收益直接关联起来。 从118.2K候选池中筛出1,766对高置信样本对用于第一阶段、4,179对用于第二阶段,两阶段合计使用6.7K训练样本,少于VideoAuto-R1的83K。

两阶段强化学习先按证据条件塑造回答模式偏好,再压缩回答长度,并用首词优势正则化防止模型塌缩到单一模式。 第一阶段对密集视图偏好直接作答、对稀疏视图偏好推理;第二阶段去掉视图相关偏好,只给正确直接作答一个小奖励。 去掉第一阶段模式偏好奖励后平均分从65.6%降到61.2%、平均输出从213增至392词;去掉第二阶段直接作答奖励后准确率相近(65.3%对65.6%)但输出增至465词。

启示与展望

演示范围是Qwen3-VL-8B-Instruct基座、32帧与64帧固定预算、每帧固定像素预算下的六个视频理解基准,训练使用6.7K样本;AdaThinkV与Video-FLAIR按各自原始评测协议报告,其中AdaThinkV允许最多256帧。读者若关心其他基座或真实部署中的帧采样策略,应看后续是否在这些条件下复现。

作者说明“可恢复”指答案准确率提升,而非恢复未观测到的视觉信息;证据片段由更强模型标注,标注只用于候选区域,样本是否保留最终由两轮基于多次采样的准确率过滤决定。消融中去掉第二阶段训练后平均分为65.4%,略低于完整模型,说明该阶段的收益主要体现在缩短输出。