Jian Luo

该工作研究在策略蒸馏（OPD）用于安全对齐时是否会传播后门：作者用bi-GRPO构造安全对齐但含后门的教师模型，通过OPD训练原本干净的学生，发现仅3%投毒率即可使触发攻击成功率最高约70%，且增加训练轮数（10个投毒样本、16轮后达67%）与使用top-K KL都会加速后门迁移，并提出通过裁剪KL奖励的Lazy Defense来延缓这一过程。

该工作研究在策略蒸馏（OPD）用于安全对齐时是否会传播后门：作者用bi-GRPO构造安全对齐但含后门的教师模型，通过OPD训练原本干净的学生，发现仅3%投毒率即可使触发攻击成功率最高约70%，且增加训练轮数（10个投毒样本、16轮后达67%）与使用top-K KL都会加速后门迁移，并提出通过裁剪KL奖励的Lazy Defense来延缓这一过程。