纯噪声蒸馏不再等于消毒：共享初始化让学生模型继承教师记忆的标签与后门

只用与私有数据统计独立的噪声查询教师，学生模型仍会继承教师对个别训练记录的成员信号、记错的标签和投毒后门，因此“无数据蒸馏”不能当作隐私与安全边界。 此前无数据蒸馏被当作去除记忆记录和后门的防御手段，其依据是学生从未见过私有样本、查询也不携带私有数据信息。 MNIST 与 MLP 上，全 logit 噪声蒸馏学生的成员推断 AUC 为 0.988，教师为 0.989；65.7% 的成员金丝雀被复现出记错的标签，非成员仅 1.0%；后门攻击成功率提升 99.4%，与教师持平。

即使只释放从未被训练、不含类别信息的辅助输出，共享初始化下这条通道依然泄漏；独立初始化下同样的通道什么也带不过去。 按函数空间直觉，语义为空的输出不应携带任何关于私有数据的信息。 MNIST 上辅助噪声通道的成员推断 AUC 为 0.862、后门提升 93.0%，独立初始化时为 0.535 与 13.9%；用同一初始化训练的干净教师做同样蒸馏，AUC 为 0.454、后门提升为 0，说明信号来自私有数据本身。

在公开基座上做私有微调时，只持有公开检查点、没有任何领域数据的攻击者，用噪声查询就能把私有微调的记忆标签和后门复制到自己的学生模型里。 此前的模型抽取研究关注复现功能，而这里被复制的是私有微调集带来的、与隐私相关的个体信息。 MNIST 上共享基座攻击恢复 92.7% 成员金丝雀的记忆标签（私有模型为 93.7%，非成员 0.7%），校准成员 AUC 0.983；同精度但不同种子的兄弟基座只恢复 8.3%。CIFAR-10/CNN 上攻击较弱，校准 AUC 0.736、后门提升 38.4%，兄弟基座为 0.561 与 7.6%。

字符级 Transformer 语言模型上，随机字符串查询即可让只出现在私有微调文本里的秘密，在攻击者副本中与在私有模型本身中一样容易被抽取。 此前的抽取研究多用与私有记录相似的自然文本查询教师。 Tiny Shakespeare 上 20 个六位数字秘密的成员暴露度为 19.36 比特，私有模型为 19.65 比特，非成员约 1.3 比特；兄弟基座控制仅 10.76 比特，且验证损失 1.941 对 1.326，未能恢复微调后的效用。

结论覆盖 MNIST、Fashion-MNIST、CIFAR-10 上的两层 MLP 与小型 CNN，以及 Tiny Shakespeare 上的字符级 Transformer，每个配置三种子并配有独立初始化或兄弟基座对照。辅助输出通道在教师靠近初始化时最强，在 CNN 和重度训练教师上于给定攻击预算内基本不携带成员信号。差分隐私教师与足够大的初始化偏移被验证为可削弱泄漏。语言模型部分只涉及小型字符级模型，向大规模预训练 Transformer 及 LoRA 等参数高效微调的扩展被列为后续方向。

理论只在惰性训练区间内精确，实验是近似验证而非假定成立。CNN 上的弱泄漏被归因于各向同性噪声对卷积特征的激活多样性差，但未设计匹配架构的查询分布，因此 CNN 数字应视为自适应攻击者所能获得结果的下界。CIFAR-10 上全 logit 噪声攻击恢复了成员信号与后门，却未恢复记忆标签本身。金丝雀被插入四次以获得可测的教师侧信号，单次出现记录的绝对泄漏更小。属性推断与数据重建是否走同一通道仍未回答。