跳到主要内容
返回时间线
arXiv来源发表:

FADE 在单个文生视频模型上同时擦除 16 个概念,将物体残留准确率从最强基线的 15.5% 降至 4.9%,VBench 平均仅差 0.9%

相关研究与后续进展

核心概要

该工作提出 FADE,一个面向文生视频扩散 Transformer 的多概念遗忘框架:先用联合闭式键/值编辑抑制全部目标概念,再为每个概念训练由帧索引与去噪时间步门控的帧感知低秩适配器以消除逐帧残留泄漏,并用基于相似度的软路由按提示组合适配器;在单个 Wan2.1-T2V-1.3B 上同时擦除 16 个概念(物体、艺术风格与裸露)时,物体基准残留准确率降至 4.9%(八个基线中最强者为 15.5%),VBench 平均与未编辑模型相差 0.9% 以内,且该排序在 VLM 评判与盲测人工研究中保持一致。

Source-provided article image: FADE: Frame-Aware Diffusion-Transformer-based Multi-Concept Erasure for Video Unlearning
Figure 1 ·

Figure 1 : Frame reactivation and multi-concept erasure. Prior T2V erasure methods apply the same suppression to every frame, and an erased concept can resurface mid-clip (red boxes; top: Refusal Vector on parachute , middle: VideoEraser on English springer ). FADE erases several concepts from a single backbone, and in these examples they stay suppressed in every frame (bottom).

arXiv

深度剖析

论文形式化了“帧再激活差距”,即峰值帧与片段均值概念存在度之差,并指出它能暴露片段级准确率掩盖的失败:去掉 FADE 的帧条件后,片段均值准确率几乎不变,但该差距增至三倍。 以往 T2V 擦除评估以片段级平均为主,会把只在少数帧中复现的概念平均掉;该诊断把逐帧峰值纳入度量。 消融实验(表 8)显示移除 FrameGate 后准确率仅从 4.9 变为 4.2,但再激活差距从 2.7 升至 8.5,FVD 增加 23.8。

FADE 将联合闭式 K/V 编辑(Concept Redirect,含运动改写嵌入与纹理相位衰减)、按帧与时间步门控的逐概念 FA-LoRA,以及基于提示相似度的 C-MoE 路由组合起来,据作者所述是首个从单个 T2V 模型擦除多个概念的框架。 既有 T2V 方法对每一帧施加相同抑制且一次只评估一个目标概念或类别;FADE 引入帧与时间步相关抑制及多概念组合。 方法在四个骨干(Wan2.1-1.3B/14B、CogVideoX-2B、HunyuanVideo-1.5-480P)上共享全部 FAE 超参数,仅重校准路由阈值,概念存在度下降 87–94%。

在 16 概念设置下,FADE 把物体残留准确率从 77.8 降至 4.9(相对下降 93.7%),在九个类别上均为最强擦除器,FVD 仅上升 7.8%,而基线上升 25.5–46.5%。 最强基线 VideoEraser 为 15.5,其余基线残留 52.6–65.7;直接移植的 T2I 方法(UCE、ESD-x、ESD-u、MACE)最多只去除不到三分之一的概念存在度。 所有方法共享骨干、提示、种子、采样器与评判器;ResNet-50、VLM(Qwen3.6-27B)与盲测人工三种评判下排序一致(FADE 为 4.9/4.8/5,VideoEraser 为 15.5/14.7/15)。

FADE 在组合提示、30 个同时擦除的名人身份以及四个越狱套件下保持领先:组合提示残留 4.0(VideoEraser 12.9),名人擦除后识别率 6.4 且保留集 86.1,四个越狱套件下攻击成功率最低。 以往 T2V 方法未评估多概念共现提示、大规模身份集合或跨套件对抗鲁棒性。 组合提示与单目标提示数值接近,但作者指出提示不同,故不是受控的干扰测量;名人实验为最大概念集(30 个身份);越狱评估中最近竞争者 VideoEraser 的攻击成功率为 FADE 的 1.3–1.7 倍。

启示与展望

该结果面向已部署的开源文生视频扩散 Transformer 运营方,用于在不做全模型微调的前提下移除露骨、暴力、仇恨或受版权保护内容以及特定人物肖像。适用设定为单次擦除多个命名概念(物体、艺术风格、裸露、名人身份),在 81 帧以内的片段上评估,训练与推理使用 Wan2.1-T2V-1.3B 等四个骨干。方法需要概念名称与逐概念训练:CR 联合求解约一分钟,每个专家训练约 4 小时、存储 1.15 MB,16 个概念共 62 GPU 小时,专家之间相互独立因而可并行。

尚未评估针对 FADE 自身的自适应攻击,例如把概念的 router 门控压到阈值以下,或把概念推向门控较弱的帧与时间步。最大概念集为 30 个身份,随概念数增长专家分离度与路由可区分性可能下降;同一艺术家两个时期这类极细区分,以及在重叠输入上更新方向相反的专家,均不在实验范围内。修饰词(如 English、van)可能触发无关门控并带来一定保真度代价。部署后新增概念需要重新求解 CR,且新概念不会进入既有专家的硬负样本,该增量设定未被评估。当骨干无法生成某概念(tench)时校准会禁用其专家。评估方面,自动评判器逐帧打分、人工评判片段,视频原生的运动语义评判器尚未建立;未评估超过 81 帧的片段或自回归生成器。

来源