跳到主要内容
检索

# Nullify免训练遗忘方法

1 篇关联报道

订阅更新
  1. arXiv

    Nullify 用零空间激活引导实现免训练遗忘:TOFU forget10 上 FQ 升至 0.58、MU 保持 0.62,与重训练持平

    Nullify 提出一种免训练、不改权重的推理期激活引导方法:用 IDK 对比激活构造遗忘方向,并用零空间投影把修正限制在保留知识激活的正交子空间内,从而在 TOFU 与 MUSE 上取得与重训练相当的遗忘质量,同时几乎不损失模型效用,且计算与显存开销远低于梯度类基线。

已读完全部报道