# 后门攻击

SELFHEAL 把防御提前到微调之前：不丢弃样本，只用基座模型自身的语言判断能力给指令打标签、修语法与连贯性、再重写可疑回答。在 Llama-3 上，它相对后置防御把攻击成功率最多降低 85%，自然准确率与干净数据训练的模型相当；在 Mistral 上效果明显变弱，说明这套清洗依赖基座模型本身的文本理解能力。

SELFHEAL 把防御提前到微调之前：不丢弃样本，只用基座模型自身的语言判断能力给指令打标签、修语法与连贯性、再重写可疑回答。在 Llama-3 上，它相对后置防御把攻击成功率最多降低 85%，自然准确率与干净数据训练的模型相当；在 Mistral 上效果明显变弱，说明这套清洗依赖基座模型本身的文本理解能力。

只用高斯噪声查询教师模型做蒸馏，学生模型仍会继承教师对训练样本的记忆和植入的后门，前提是师生共享同一个公开初始化。MNIST 上，仅通过从未训练过的辅助输出蒸馏，成员推断 AUC 达 0.86、后门攻击成功率提升 93%；独立初始化的学生则接近随机。在公开基座微调的现实威胁下，攻击者不持有任何训练数据，仅用噪声查询即可恢复 93% 私有金丝雀的记忆标签。

只用高斯噪声查询教师模型做蒸馏，学生模型仍会继承教师对训练样本的记忆和植入的后门，前提是师生共享同一个公开初始化。MNIST 上，仅通过从未训练过的辅助输出蒸馏，成员推断 AUC 达 0.86、后门攻击成功率提升 93%；独立初始化的学生则接近随机。在公开基座微调的现实威胁下，攻击者不持有任何训练数据，仅用噪声查询即可恢复 93% 私有金丝雀的记忆标签。

该研究考察攻击者提供的带后门模型在开发者良性监督微调（SFT）与任务级强化学习（RL）后是否仍保留后门，发现 SFT 大幅削弱攻击成功率而 RL 往往保留甚至提高残余攻击成功率，并据此提出 PersistBD：在发布前用单个 LoRA 适配器强化后门强度与梯度兼容性，在 Qwen2.5-Coder-7B 上把 SFT 后攻击成功率从 20% 提升到 74%、SFT–RL 后从 20% 提升到 76%，同时良性任务解决率与基线相当。

该研究考察攻击者提供的带后门模型在开发者良性监督微调（SFT）与任务级强化学习（RL）后是否仍保留后门，发现 SFT 大幅削弱攻击成功率而 RL 往往保留甚至提高残余攻击成功率，并据此提出 PersistBD：在发布前用单个 LoRA 适配器强化后门强度与梯度兼容性，在 Qwen2.5-Coder-7B 上把 SFT 后攻击成功率从 20% 提升到 74%、SFT–RL 后从 20% 提升到 76%，同时良性任务解决率与基线相当。