Nullify 用零空间激活引导实现免训练遗忘:TOFU forget10 上 FQ 升至 0.58、MU 保持 0.62,与重训练持平
核心概要
Nullify 提出一种免训练、不改权重的推理期激活引导方法:用 IDK 对比激活构造遗忘方向,并用零空间投影把修正限制在保留知识激活的正交子空间内,从而在 TOFU 与 MUSE 上取得与重训练相当的遗忘质量,同时几乎不损失模型效用,且计算与显存开销远低于梯度类基线。
(a) Forget quality vs. model utility.
arXiv深度剖析
把遗忘从参数空间搬到激活空间,并用零空间约束把“遗忘”与“保效用”解耦:修正项在保留查询上按构造为零,因此不再需要以能力退化为代价换取遗忘。 此前的梯度类(GA、GradDiff)、偏好优化类(NPO、SimNPO)与表示层方法(RMU、LUNAR)要么更新基座权重、要么训练辅助参数,保留行为靠软损失项约束;Nullify 是免训练、权重冻结、且效用保持由构造保证的方案。 消融实验直接分离两个组件:去掉零空间投影(取单位阵)后,即使最保守强度 MU 也仅 0.360,强度增大后崩塌;换成随机方向则 FQ 减半至 0.466 而 MU 仍近 0.600,说明投影负责保效用、IDK 对比方向负责携带遗忘信号。
整条流水线为闭式解、无需标注:每层算子由一次前向传播闭式求解,遗忘方向来自遗忘集自身的“记忆续写”与“弃答模板”两种提示的隐状态残差,引导强度只是运行时标量。 零可训练参数、无反向传播;离线只需一次 Gram 矩阵 SVD 与一次伪逆,推理时每层仅一次矩阵–向量乘,且引导后的隐状态直接填充 KV 缓存,无需逐 token 钩子。 复杂度分析给出每层离线开销与推理期可忽略的额外开销;超参扫描显示 FQ 在较宽区间内保持高位,MU 在各强度下稳定在 0.607–0.628,说明效用保持来自构造而非调参。
在 TOFU 与 MUSE-News 上同时取得领先的遗忘质量与近乎无损的效用:TOFU forget10 的 FQ 从 SimNPO 的 0.45 提升到 0.58,MU 保持 0.62,与 Retrain 相同;MUSE-News 的 PrivLeak 为 5.18,比任何基线都更接近理想的 0。 基线在两个方向上失衡:NPO(108.91)、GradDiff(108.12)、SimNPO(72.93)泄漏严重,Task Vector(100.00)过度修正,LUNAR(99.80)几乎未改变,GA 则 KM-D 归零、效用崩塌。 TOFU 上 Nullify 的 World Facts ROUGE-L 0.90 与 Retain 集 0.95 紧贴 Original(0.91/0.98);MUSE-News 上遗忘集 KM-D 从 Original 的 0.63 降到 0.27(Retrain 为 0.33),保留集 KM-D 保持 0.51(Retrain 0.54)。
部署成本显著下降:Nullify 以纯推理显存 14 GB、单配置 5.2 分钟完成,而全量微调基线需 6.6 B 参数 Adam 状态、79 GB 显存与 13–58 分钟。 在遗忘质量–墙钟时间平面上,GA、GradDiff、IDK、NPO、LUNAR 均同时更慢且更弱;只有 SimNPO 与 Retrain 达到更高遗忘质量,但分别付出 5.3 倍与 57.7 倍于 Nullify 的时间。 同一 NVIDIA H800 80 GB 硬件、同一 TOFU forget05 / Llama-2-7B-chat-hf 设置下端到端计时,含训练与默认 TOFU 评测;由于引导强度不进入闭式准备,适配新遗忘请求只需按强度做一次推理评估。
启示与展望
该工作面向部署期的推理干预场景:算子激活时抑制对已记忆答案的访问,而非永久改写底层权重,因此适用于需要按请求临时屏蔽特定记忆内容的服务环境。它使隐私、版权与安全驱动的删除请求可以在不改动基座模型的前提下完成,对需要频繁响应删除请求、又无法承担重训练成本的模型提供方尤其相关。跨模型族复现表明构造与层选择流程可迁移到 Qwen3-8B,但两个基座上的遗忘–效用权衡表现不同。作者指出后续方向是扩展到多模态架构与长上下文遗忘。
作为推理期干预,其抑制效果依赖算子处于激活状态,权重本身未被永久改写,因此读者需要关注算子在部署中被检查、修改或禁用的白盒场景,以及自适应攻击,这些都在作者声明的当前范围之外。鲁棒性评测覆盖固定模板的黑盒抽取与相近的自由改写,改写提示下的泄漏(0.218)虽低于 Original(0.478)但仍高于 Retrain(0.128),向更远查询格式的迁移程度仍是开放问题。干预层集合与引导强度目前按基准选择,跨架构与部署设置的自动配置尚未解决。此外,所加载文本中部分数值以占位形式呈现,若需精确复现具体表格数字,应回到原文核对。
