从表示几何角度揭示遗忘知识易被重新学习的原因,并提出针对次要成分的MCU遗忘方法
该工作从表示几何视角研究已遗忘模型为何在重新学习攻击下迅速恢复知识,发现现有遗忘方法主要沿主导成分优化而次要成分基本不变,主导成分的修改在重新学习时易被逆转而次要成分更抗逆转,据此提出显式针对次要成分的Minor Component Unlearning(MCU),并在三个数据集上验证其显著提升了对重新学习攻击的抵抗能力。
该工作从表示几何视角研究已遗忘模型为何在重新学习攻击下迅速恢复知识,发现现有遗忘方法主要沿主导成分优化而次要成分基本不变,主导成分的修改在重新学习时易被逆转而次要成分更抗逆转,据此提出显式针对次要成分的Minor Component Unlearning(MCU),并在三个数据集上验证其显著提升了对重新学习攻击的抵抗能力。
已读完全部报道