# 知识遗忘

Nullify 提出一种免训练、不改权重的推理期激活引导方法：用 IDK 对比激活构造遗忘方向，并用零空间投影把修正限制在保留知识激活的正交子空间内，从而在 TOFU 与 MUSE 上取得与重训练相当的遗忘质量，同时几乎不损失模型效用，且计算与显存开销远低于梯度类基线。

Nullify 提出一种免训练、不改权重的推理期激活引导方法：用 IDK 对比激活构造遗忘方向，并用零空间投影把修正限制在保留知识激活的正交子空间内，从而在 TOFU 与 MUSE 上取得与重训练相当的遗忘质量，同时几乎不损失模型效用，且计算与显存开销远低于梯度类基线。

该工作针对大语言模型因在长时间序列数据上训练而在金融预测任务中产生前视偏差、且从头重训前沿模型以设定知识截止点代价过高的问题，提出一种快速、有效且低成本的替代方案：在推理阶段用一对较小的专用模型——一个在应被遗忘的信息上微调、另一个在应被保留的信息上微调——来调整大型基础模型的 logits 以引导生成，并报告该方法能有效移除逐字知识与语义知识、纠正偏差，且优于此前的方法。

该工作针对大语言模型因在长时间序列数据上训练而在金融预测任务中产生前视偏差、且从头重训前沿模型以设定知识截止点代价过高的问题，提出一种快速、有效且低成本的替代方案：在推理阶段用一对较小的专用模型——一个在应被遗忘的信息上微调、另一个在应被保留的信息上微调——来调整大型基础模型的 logits 以引导生成，并报告该方法能有效移除逐字知识与语义知识、纠正偏差，且优于此前的方法。