PAC-私有扩散模型适配：单次扰动学习组件，在同等重建隐私下优于DP-SGD保留主体身份与生成质量
相关研究与后续进展
核心概要
该工作提出一种PAC-私有的扩散模型适配方法：先用LoRA或Textual Inversion学习紧凑的数据相关组件，再依据重复机制输出的协方差校准各向异性高斯噪声，仅对学习组件做一次扰动，从而避免梯度更新间的隐私组合；在少样本概念个性化与全数据集图像合成上，该方法在达到与DP相同重建隐私的同时，更好地保留了主体身份、生成质量和下游分类准确率。
Figure 2 presents qualitative results. DP-SGD largely fails to capture identity-specific facial characteristics, whereas PAC preserves substantially more facial structure and identity information. The quantitative results in Table 2 support this observation. Even at ε = 3, PAC improves ISM from 0.002 to 0.037, DINO-I from 0.197 to 0.301, and CLIP-I from 0.471 to 0.522 compared with DP-SGD. As the privacy budget increases, PAC improves steadily, reaching 0.195 ISM, 0.478 DINO-I, and 0.670 CLIP-I at ε = 50, whereas DP-SGD remains nearly unchanged across all budgets. PAC also achieves better perceptual quality for ε ≥5, while the two methods exhibit comparable face-detection failure rates. Overall, final-output PAC perturbation pre- serves personalized identity considerably better than iterative DP-SGD perturbation for Textual Inversion.
arXiv · 第 9 页深度剖析
提出以PAC-隐私直接对接重建隐私（RP）的扩散模型适配框架，替代经由DP间接关联RP的路径。 既有DP方法（如DP-SGD）通过限制输出对单条记录变化的敏感度来提供保证，与以后验优势定义的RP之间只是间接关系；PAC-隐私直接以后验相对先验的优势定义，因而直接指向RP。 文中以定义层面的论证说明这一直接性，并指出DP与RP之间的间接性是效用损失的重要来源；未给出形式化定理或证明细节。
给出高维可扩展的PAC私有化实现：先学习紧凑的数据相关组件，再由重复机制输出的协方差校准各向异性高斯噪声。 与DP-SGD在每次梯度更新中反复裁剪与加噪不同，该方法在优化完成后仅对学习组件扰动一次，从而避免跨梯度更新的隐私组合。 方法描述明确说明使用LoRA或Textual Inversion学习组件、以协方差校准噪声、单次扰动；未报告噪声校准的具体算法复杂度或超参数。
在少样本概念个性化与全数据集图像合成两类任务上，该方法在同等重建隐私下比DP更好地保留主体身份、生成质量与下游分类准确率。 相对DP基线，改进体现在三个效用维度同时保持，而非以牺牲隐私换取效用。 评估覆盖两类任务并给出与DP的对比结论；摘要未提供具体指标数值、数据集名称或样本规模。
启示与展望
该结果面向需要在敏感数据上训练或适配扩散模型、又要发布合成图像的场景，例如少样本概念个性化与全数据集图像合成；方法以LoRA或Textual Inversion学习紧凑组件为前提，适用于可被此类适配方式覆盖的扩散模型。对希望以单次扰动替代DP-SGD逐步加噪、从而规避隐私组合的实践者，这一路线提供了可操作的替代方案。
摘要未报告具体评估指标数值、数据集名称、样本规模与隐私参数设置，因此“同等重建隐私”的判定依据与效用提升幅度仍需在正文中核对。PAC-隐私在高维下的噪声校准是否稳定、单次扰动在不同适配组件上的表现差异，以及该方法对更强重建攻击的稳健性，都是读者可继续关注的问题。此外，本次仅基于摘要整理，图表与实验细节未纳入。