跳到主要内容
返回时间线
arXiv来源发表:

统一多模态模型的概念遗忘并不统一:只改生成路径,识别遗忘率仅24%,UniForget把联合遗忘提到80%

核心概要

统一多模态模型把图像生成与视觉理解放在同一个模型里,但已有的单路径遗忘方法难以让目标概念在两条路径上同时消失。UUBench 用30个目标概念和60个同类邻近概念,把生成与理解任务配对到同一实体上评估;UniForget 把生成侧权重编辑与理解侧低秩适配更新合并进同一检查点,在 BAGEL-7B-MoT 与 Janus-Pro-7B 上分别取得80.0%和92.7%的联合遗忘率,同时暴露出遗忘与能力保持之间的取舍。

AI-generated editorial illustration: Is Forgetting Unified? Exploring Concept Unlearning in Unified Multimodal Models

深度剖析

目标概念需要在图像生成和视觉理解两条路径上同时被抑制,而现有方法大多只处理其中一条。 此前的概念遗忘研究集中在单一通道:要么抑制视觉生成模型画出目标概念,要么从语言与多模态理解模型中擦除敏感事实知识。 在 BAGEL-7B-MoT 上,生成侧方法 TIME 的目标遗忘率达到100.0%,但理解侧的直接遗忘率只有24.0%;在 Janus-Pro-7B 上这两个数字分别是96.7%和30.7%。

UniForget 先对生成路径做闭式权重编辑,再在冻结主干的前提下用低秩适配器调整理解路径,最后把两段更新合并成一个检查点。 直接拼接最强的生成侧方法 TIME 与理解侧方法 GD,只能得到有限的联合遗忘。 TIME + GD 在 BAGEL-7B-MoT 与 Janus-Pro-7B 上的联合遗忘率分别为31.3%和41.3%,UniForget 则为80.0%和92.7%,并在两个主干上都保持100.0%的目标遗忘率。

联合遗忘与能力保持之间存在可测量的取舍,两个主干的表现并不一致。 在同时要求图像质量与回答可用性的严格口径下,联合遗忘率明显低于普通联合遗忘率。 UniForget 的严格联合遗忘率在 BAGEL-7B-MoT 上为47.6%、在 Janus-Pro-7B 上为58.0%;BAGEL 的邻近概念严格保持率为84.6%,Janus 为73.2%。

启示与展望

评估限定在两个7B统一多模态模型 BAGEL-7B-MoT 与 Janus-Pro-7B、UUBench 的30个目标概念及其60个邻近概念上,图像质量与视觉可用性由自动指标和大模型评判给出。

作者指出,实验只覆盖两个7B模型和30个目标概念,向更大模型与更广领域的推广留待后续;自动指标与大模型评判可能与人判断不同;评估针对标准提示下的行为遗忘,模型权重层面的可证明删除不在范围内。多概念扩展时理解侧遗忘率随概念数增加而下降,提示攻击下的名称抑制也表现出模型相关的敏感性。