只改5%像素就能挡住人脸伪造：SEAL在CelebA-HQ与VGGFace2上把身份相似度压到0.15以内
核心概要
给照片加对抗扰动可以阻止扩散模型学会某人身份，但以往方法要在整张脸上密集改动，累积失真在五官附近肉眼可见。SEAL把扰动限制在5%的空间位置上，用可微的top-k掩码同时优化扰动位置与数值，并针对冻结VAE编码器的潜变量方差做破坏。在CelebA-HQ与VGGFace2上，受保护图像PSNR超过41 dB、SSIM为0.97、LPIPS不超过0.07，经DreamBooth个性化后身份相似度最高0.15。
深度剖析
人脸保护扰动不再铺满整张图，而是只落在5%的空间位置上，其余95%像素保持原样。 此前的保护方法大多对每个像素施加有界扰动，累积失真在眼睛、鼻子、嘴等视觉敏感结构附近变得可察觉；近期一些方法改善了画质，却以保护效果下降为代价。 在CelebA-HQ与VGGFace2各取50个身份、每个身份4张待保护图像，受保护图像PSNR超过41 dB、SSIM为0.97、LPIPS不超过0.07，同时DreamBooth个性化后的身份相似度最高0.15。
扰动落在哪里由优化决定，而不是随机撒点。 把学习到的top-k掩码换成随机掩码后，身份相似度从0.07升到0.68，说明在稀疏预算下位置选择本身承担了大部分保护作用。 消融在CelebA-HQ的10身份子集上进行，默认超参数下比较学习掩码与随机掩码两种设置。
方法只对冻结的VAE编码器做反向传播，保护一张四图身份集约需70秒和9 GB显存。 Anti-DreamBooth在同一任务上约需420秒和17 GB显存，SEAL的耗时约为其六分之一、显存约为其一半。 表3给出各方法保护一个四图身份集的墙钟时间与峰值GPU显存，SEAL与SDS(-)同为70秒、9 GB。
启示与展望
演示范围是CelebA-HQ与VGGFace2上各50个身份、每身份4张待保护图像，目标模型为Stable Diffusion v2.1并以DreamBooth微调，评估使用P1与P2两个主要提示词；消融与部分附加实验在10身份子集上进行。读者对象是关注扩散模型个性化与图像隐私防护的研究人员和工程师。
方法针对基于微调的个人化，受保护图像在训练中经过VAE编码器；对IP-Adapter FaceID这类基于编码器的个人化方法不起作用。JPEG压缩、高斯模糊和缩放等平滑预处理会去掉大部分稀疏扰动并大体恢复身份相似度，而轻度加性噪声可以被容忍；提升对这类变换的鲁棒性被列为后续方向。