联邦聚类只传密度峰:一轮通信,客户端贡献经混洗后无法被服务器归因
核心概要
联邦聚类此前每轮都会向服务器多暴露一层模型信息,即使原始样本不出本地,多轮交换也让各客户端的贡献可被关联。eFDPC把演化模糊聚类与密度峰聚类放进联邦设置:各客户端在私有小批量上增量演化微簇,只把密度峰候选经混洗层加性分片后上传,服务器在混洗后重建峰值并做全局峰选择。在合成与真实基准上,该方法在单轮设置中优于近期联邦聚类基线,并可扩展到更高维、非独立同分布数据。
深度剖析
联邦聚类现在可以只做一轮通信,客户端上传的不是完整本地模型,而是少量密度峰候选。 此前的联邦聚类方法基于迭代过程,反复进行本地重聚类与服务器聚合,多轮交换会增加通信开销,并使原型轨迹在轮次之间可被关联。 在合成与真实基准数据集上,eFDPC在单轮设置中优于近期联邦聚类基线,并在更高维、非独立同分布数据上可扩展。
每个客户端先在私有小批量上增量演化微簇,再在微簇上做密度峰选择,只把选中的峰传出去。 演化聚类原本按样本逐个在线学习,这里改为按小批量并行更新,以适配联邦学习不能逐样本上传更新的限制。 客户端与服务器之间加入混洗层,客户端把每个峰统计量拆成加性分片,混洗器打乱消息顺序,服务器在混合后重建峰值,因此不知道每个重建峰来自哪个客户端。
启示与展望
该方法面向水平联邦设置下的无监督聚类,客户端持有本地数据、服务器诚实但好奇,隐私保护聚焦于不暴露原始样本并保证客户端贡献不可关联。实验覆盖合成数据集与真实基准,包括高维的MNIST与KDD99,并给出客户端数、批大小与非独立同分布程度的敏感性结果。代码以PyTorch实现并公开。
当决策图平坦、没有明显密度峰时,峰选择与标签传播会对局部扰动和邻域构造敏感。整体质量依赖合并激进度与邻域大小等超参数,需要跨数据集一致选取。峰摘要相比纯中心点基线仍带来通信开销,混洗匿名层也增加系统复杂度与通信开销。实验中的峰数P由真实簇数给出,实际中该值未知;作者指出尚无无监督准则能可靠恢复真实簇数。
