长视频里只改几秒也能被定位:音视频分开读,AV-mAP从84.76升到91.30
核心概要
长视频中的伪造往往只涉及几秒钟,而现有音视频伪造基准多集中在短视频说话人片段,长视频取证也以视觉为主。AV-FABLE把16,650对原始—篡改孪生视频(998小时、27种编辑配置)配上独立的音频与视觉时间线,使定位必须同时给出时间边界和受影响模态。在冻结的Qwen3-Omni感知特征上,NFSR用分离的音视频时间解码器读出证据,域内AV-mAP达到91.30,高于共享同一特征的UMMAFormer的84.76,并在三种分布外设置中取得最高AV-mAP。
深度剖析
长视频取证现在要求同时回答“哪几秒被改”和“改的是声音还是画面”,而不只是给整段视频一个真假标签。 此前的音视频伪造基准多针对以说话人为中心的短视频片段,长视频时间定位则主要停留在视觉一侧,音频与视觉共用一条时间线。 AV-FABLE包含16,650对原始—篡改孪生视频、共998小时、27种编辑配置,篡改区间中位数只占被篡改视频的9.45%,并分别记录音频与视觉事件。
同一批冻结的感知特征,用监督读出能拿到提示词输出拿不到的取证信号。 零样本提示Qwen2.5-Omni与Qwen3-Omni在AV-FABLE上检测AUROC只有51–52,两条轨道mAP最高0.30。 在同样的冻结特征上做线性探针,音频与视觉片段级AUROC分别达到90.8和80.8,说明证据存在于表示中而未被语言输出暴露。
NFSR把冻结的音视频编码器特征直接读成两条独立时间线上的篡改区间。 与共享同一冻结Qwen3特征和训练预算的UMMAFormer相比,NFSR把域内AV-mAP从84.76提高到91.30,视觉轨道提升最大。 域内NFSR取得91.30 AV-mAP、96.04检测AUROC和83.61归因F1,并在源迁移、留出生成器、留出TI2V三种分布外设置中AV-mAP均为最高。
启示与展望
已展示的范围是开放场景长视频中稀疏的音视频篡改定位、检测、模态归因与解释,评测在AV-FABLE的源不相交划分及三种分布外设置上进行,阈值固定在源域校准数据上。
解释是最困难的维度,现有基线输出格式完整但常把操作或目标认错;分布偏移下的视觉覆盖仍是主要未解问题,NFSR的V-IoU在26.42–41.21之间。
