联邦学习开训前先筛客户端:只看一张小波散射摘要,90%恶意节点下仍能训练
核心概要
联邦学习在开训前就能筛掉投毒客户端:每个客户端只上传一张小波散射摘要,服务器用仅见过干净数据的去噪自编码器打分,在恶意客户端占90%时仍能选出干净节点继续训练。
深度剖析
恶意客户端可以在第一轮通信之前被筛掉,而不是等训练中被污染后再补救。 此前的防御要么在训练过程中做鲁棒聚合,要么用带攻击标签的监督分类器在开训前筛选。 在MNIST、CIFAR-10和CIFAR-100上,恶意客户端比例从60%升到90%时,WaSA-Boltzmann在多数设置下取得最好结果,并在CIFAR-100的90%场景下同时超过Oracle与FedAvg。
每个客户端把本地数据压成一张与原始像素不可逆的频谱摘要,服务器据此判断它是否偏离干净数据的分布。 摘要由截断奇异值分解得到的方差加权主方向叠加而成,再经小波散射变换投影,只保留一阶系数。 在CIFAR-10的60%污染场景下,傅里叶表示的异常分数让高斯模糊和随机像素遮挡两类污染与干净客户端重叠,而小波散射表示把全部40个干净客户端压在阈值以下、四类污染一致地推到阈值以上。
客户端是否参与训练由重构误差决定,可以硬性排除,也可以按概率软性降权。 硬阈值只保留分数低于阈值的客户端,玻尔兹曼采样则把分数当作能量、用温度参数在硬排除与均匀采样之间连续插值。 在温度参数取0.1时,干净客户端的平均选中概率约为均匀采样下的水平,而高异常客户端被指数压低,轻度失真客户端保留低于该水平的残余概率。
启示与展望
这套流程面向服务器持有少量干净辅助数据的跨设备联邦学习场景,检测发生在第一轮通信之前,因此不占用训练轮次的开销。实验覆盖MNIST、CIFAR-10和CIFAR-100上的图像分类,污染类型为高斯噪声、高斯模糊、随机像素遮挡和全黑图像,恶意比例取60%与90%两档。读者若要跟进,可关注该方法在非图像模态和真实物联网数据上的表现。
检测效果依赖服务器侧辅助数据与真实客户端数据分布接近,辅助集占训练集的十分之一。确定性阈值在90%污染的重度场景下方差更大,对超参数更敏感;玻尔兹曼变体主要用来偏置客户端参与,其检测判定是按整个训练周期内期望参与可忽略来事后定义的。小波散射只保留一阶系数,散射参数按图像尺寸分别设定。
