Nullify 用零空间激活引导实现免训练遗忘:TOFU forget10 上 FQ 升至 0.58、MU 保持 0.62,与重训练持平
Nullify 提出一种免训练、不改权重的推理期激活引导方法:用 IDK 对比激活构造遗忘方向,并用零空间投影把修正限制在保留知识激活的正交子空间内,从而在 TOFU 与 MUSE 上取得与重训练相当的遗忘质量,同时几乎不损失模型效用,且计算与显存开销远低于梯度类基线。
Nullify 提出一种免训练、不改权重的推理期激活引导方法:用 IDK 对比激活构造遗忘方向,并用零空间投影把修正限制在保留知识激活的正交子空间内,从而在 TOFU 与 MUSE 上取得与重训练相当的遗忘质量,同时几乎不损失模型效用,且计算与显存开销远低于梯度类基线。
已读完全部报道