Siddhant Agarwal

只用高斯噪声查询教师模型做蒸馏，学生模型仍会继承教师对训练样本的记忆和植入的后门，前提是师生共享同一个公开初始化。MNIST 上，仅通过从未训练过的辅助输出蒸馏，成员推断 AUC 达 0.86、后门攻击成功率提升 93%；独立初始化的学生则接近随机。在公开基座微调的现实威胁下，攻击者不持有任何训练数据，仅用噪声查询即可恢复 93% 私有金丝雀的记忆标签。

只用高斯噪声查询教师模型做蒸馏，学生模型仍会继承教师对训练样本的记忆和植入的后门，前提是师生共享同一个公开初始化。MNIST 上，仅通过从未训练过的辅助输出蒸馏，成员推断 AUC 达 0.86、后门攻击成功率提升 93%；独立初始化的学生则接近随机。在公开基座微调的现实威胁下，攻击者不持有任何训练数据，仅用噪声查询即可恢复 93% 私有金丝雀的记忆标签。