PI-SME 用高斯-勒让德求积沿可学习贝塞尔路径重建 FedAvg 多步梯度更新,在 CIFAR-100 与 FEMNIST 上超过最强代理基线
相关研究与后续进展核心概要
该工作提出路径积分代理模型扩展(PI-SME),把 FedAvg 中累积的多步更新视为梯度场沿客户端轨迹的路径积分,用高斯-勒让德求积在可学习贝塞尔路径的多个节点上评估代理梯度并加权组合;在 CIFAR-100 与 FEMNIST 图像上,PI-SME 在多个反演指标与匹配损失上优于最强代理基线 NL-SME,且增益在长轨迹与类别受限批次上最大。
Figure 1: Sample inversions using PI-SME on CIFAR-100; each column shows the original (top) and its reconstruction (bottom).
arXiv深度剖析
把多步梯度反演重新表述为求积问题:FedAvg 更新是梯度场沿客户端局部轨迹的离散线积分,因此值得匹配的对象是路径积分而非任一单点梯度。 此前的 SME 与 NL-SME 在端点之间拟合代理路径,但仍只在单个状态读取代理梯度;PI-SME 首次将多步更新建模为路径积分并用多节点求积进行反演。 论文给出式(1)的累积更新与式(2)的均值梯度方向推导,并指出标量函数的均值定理不适用于此处的高维向量值梯度,路径一致性实验在真实轨迹上验证了单点弱于多节点求积。
用高斯-勒让德求积在可学习贝塞尔路径的多个节点上近似路径积分,节点权重经仿射变换映射后构成代理梯度的加权平均。 相对 NL-SME 的单点读取,PI-SME 以 n 个节点解析路径,每个节点增加一次反向传播(攻击的主要开销),并沿用 NL-SME 的逐坐标校准向量与全变差先验。 论文给出式(5)–(8)的求积公式与权重归一化,说明该规则对次数不超过 2n−1 的多项式积分精确,并给出优化设置(Adam、学习率、正则权重)。
在 CIFAR-100 与 FEMNIST 上,PI-SME 在每种设置、每个指标上都优于 NL-SME,单步与先验增强方法则大幅落后。 增益随设置难度增大:CIFAR-100 上 PSNR 增益约在长轨迹时更大,FEMNIST 上两种轨迹长度增益相近,SSIM、FSIM、LPIPS 与匹配损失同向变化。 表 1 在两种数据集、两种轨迹长度下比较 PI-SME 与 SME、NL-SME、IG、GI-NAS、DGGI;受害网络为两层卷积加两层全连接的小型 CNN,节点数由消融实验固定。
路径一致性实验显示,即使只拟合控制点、仅用两个观测端点,多节点求积的诚实余弦损失也低于扫描整条真实轨迹得到的最优单点参考。 两节点求积即把参考损失降低约三倍,更多节点进一步下降后趋于饱和;最优单点位置随轨迹长度移动,说明不存在跨设置通用的固定位置。 该实验赋予对手对全部真实中间状态与私有批次的预言机访问,不优化虚拟数据,仅比较梯度方向与真实均值方向,在两种轨迹长度下报告单点参考与求积损失。
启示与展望
该结果面向诚实但好奇的服务器在 FedAvg 多步本地训练下、以图像分类为任务的场景,受害模型为两层卷积加两层全连接的小型 CNN,数据为 CIFAR-100 与 FEMNIST。它使研究者可以在长轨迹与类别受限批次这类单点近似最弱的条件下评估反演强度,也为防御方提供了更贴近实际累积更新的攻击基线;节点数由消融实验固定,每个节点增加一次反向传播。
原文表格中的具体数值在文本中未完整呈现,因此各方法在两种数据集与两种轨迹长度下的精确指标只能依据文字描述判断。节点数由经验消融选定而非来自原则性上界,且更大节点数没有单调增益;所有代理方法在类别稀缺批次上都会明显退化,其原因仍待解释。这些是后续工作可展开的方向,而非对当前结果的否定。
