纯噪声蒸馏不再等于消毒：共享初始化让学生模型继承教师记忆的标签与后门
只用高斯噪声查询教师模型做蒸馏，学生模型仍会继承教师对训练样本的记忆和植入的后门，前提是师生共享同一个公开初始化。MNIST 上，仅通过从未训练过的辅助输出蒸馏，成员推断 AUC 达 0.86、后门攻击成功率提升 93%；独立初始化的学生则接近随机。在公开基座微调的现实威胁下，攻击者不持有任何训练数据，仅用噪声查询即可恢复 93% 私有金丝雀的记忆标签。
蒸馏可让隐藏怪癖的模型更易招供，也可在保留数学能力的同时抑制动物偏好转移
作者提出并分别验证两种蒸馏策略：面向定罪的蒸馏（DFI）把 AuditBench 保密模型蒸馏回其指令微调基座，学生比教师更常承认隐藏怪癖，说明怪癖知识比隐瞒倾向更易转移；面向能力的蒸馏（DFC）在保留数学能力的同时，用少样本多轮训练和接种提示显著降低动物偏好这一错位代理的潜意识转移。
后训练的能力会通过无关文本泄漏：仅用教师每提示一个词，学生模型在 HumanEval+ 上提升 5.34 个百分点
作者提出 Active Taskless Distillation（ATD），通过挑选教师模型与学生模型共同公开祖先模型在两个普通词之间几乎无偏好的提示，仅用教师给出的单个词作为监督信号，让从该祖先初始化的学生模型在没有任何目标任务样本、教师 logits 或教师参数的情况下学习；在 Qwen2.5-1.5B 的主要编码实验中，5,664 条样本使 HumanEval+ 相比严格匹配干扰因素的对照提升 5.34 个百分点，并在科学知识、常识推理和阅读理解等任务以及更多模型世代、规模和家族上显示迁移，功能分析显示所学信号可组合且强度随教师更新强度变化。
已读完全部报道