arXiv来源发表:
纵向联邦学习里的标签窃取有了新信号:服务器从已有嵌入就能看出谁在偷标签
核心概要
纵向联邦学习中的主动标签推断会在攻击方嵌入里留下类别可分性异常,服务器据此触发只作用于攻击方的防御,在CIFAR-10、CIFAR-100和CINIC-10上把标签推断压到诚实训练本身的泄漏水平以下,任务精度损失不到两个点。
深度剖析
纵向联邦学习允许各方在不共享原始特征的前提下联合训练模型,标签由其中一方私有保存;主动标签推断攻击让持有特征的一方通过改动自己的优化器,把类别结构压进嵌入,再用半监督学习把标签还原出来。 此前针对这类攻击的防御主要扰动共享梯度,但攻击作用在参与方内部的优化器上,而不是它发出的消息上,因此这类防御失效。 攻击方嵌入的Fisher类别可分性与诚实方拉开差距,这一差距在少数几个训练轮次内即可从服务器已经收到的嵌入中观察到。
防御由该信号触发,只对判定为攻击方的一方生效,做法是切断嵌入簇与标签之间的对应关系,而不是破坏嵌入本身。 类别较少时直接缩小攻击方梯度即可;类别较多时改用范数非扩张投影,判别覆盖比解释了为什么投影秩必须随类别数增长。 在CIFAR-10、CIFAR-100和CINIC-10上各跑四个随机种子,标签推断降到诚实训练本身已有泄漏水平以下,任务精度代价不到两个点。
启示与展望
报道覆盖的是摘要层面的结果:检测信号来自服务器已经收到的嵌入,防御只作用于被判定为攻击方的一方,评估场景为CIFAR-10、CIFAR-100和CINIC-10上的分类任务,每个数据集四个随机种子。适合关注联邦学习隐私与部署的研究人员和工程师阅读。材料未提出下一步实验计划。
材料以摘要形式给出,未说明检测阈值如何选取、误报如何影响诚实方,也未给出跨数据集之外的验证。标签推断降到诚实训练泄漏水平以下这一结论限定在所述三个数据集与四个随机种子上。
