跳到主要内容
返回时间线
arXiv来源发表:

视频异常理解不再只看预先抽好的帧:SEEK-VAU让智能体边搜边验,证据F1从28.1升到43.7

核心概要

视频异常理解长期沿用固定观测:模型先拿到一批抽样帧或聚类事件,再据此判断异常,推理开始后无法回头补找缺失证据。SEEK-VAU把这一过程改成有预算上限的智能体搜索与验证,让策略沿前兆、触发、后果三段事件链主动取证,并在收尾前自检证据是否充分。在自建的SEEK-Bench上,它以Qwen3-VL-8B为基座取得55.6时间mIoU、45.5问答准确率和43.7证据F1,而固定观测的Qwen3-VL基线分别为44.2、37.7和28.1。

Source-provided article image: SEEK-VAU: Towards Evidence-Faithful Video Anomaly Understanding via Agentic Search
arXiv

深度剖析

视频异常理解从一次性判断改为多轮取证:模型先粗扫全片,再针对可疑时段发出检索请求,把返回帧登记为支撑证据,并在给出结论前检查证据是否够用。 此前的流程把证据采集和推理分开,视觉材料在推理前就已选定且不再变化,一旦推理中发现缺少某个阶段,模型无法再去找。 在SEEK-Bench验证集上,同一Qwen3-VL-8B基座下,固定观测加基础监督为44.2时间mIoU、37.7问答准确率、28.1证据F1,改为主动搜索且同样不加事件链监督后升至50.1、40.1和34.3。

四个可执行动作把取证和收尾拆开:scan建立全片时间上下文,seek按具体视觉线索和秒级区间取回证据,verify判断证据充分、不足还是冗余,finalize只在验证通过后关闭案件。 检索工具只接收输入视频和策略给出的区间,按固定规则在区间内均匀返回四帧,因此学习的是往哪里看,而不是改变采样方式。 消融显示,闭环搜索但不加验证时证据F1为29.1,加上验证门后升至41.6,同时时间mIoU提高3.7、问答准确率提高9.2。

证据忠实反事实验证把“证据是否真的支撑结论”写进奖励:要求所选证据单独足以支撑判断,存在紧凑的充分子集,且移除触发段证据后置信度下降。 只奖励答案正确无法区分证据是否支撑结论、冗余窗口是否掩盖弱支撑,也无法判断触发证据是否关键。 在相同闭环协议下加入该奖励后,时间mIoU、问答准确率和证据F1分别再提高1.2、2.8和2.1,平均用帧从17.1降到15.6。

启示与展望

演示范围是SEEK-Bench验证集上的交互式搜索与验证评测,以及冻结检查点在UCF-Crime和XD-Violence测试划分上的零样本异常定位迁移;后者只测定位,不测外部证据忠实性,因为这两个数据集没有对齐的事件链、证据窗口和语义问答标注。

验证器与策略共享同一套Qwen3-VL-8B权重,残余风险是自我确认,作者将其定位为经经验审计的自一致性机制而非形式保证;基准由MSAD和ECVA派生,继承类别覆盖、标注噪声与数据集偏差;评测范围限于异常占比较短的稀疏异常视频,异常占比极低的长视频需要专门评测。