联邦学习不再牺牲尾部客户端:保留FedAvg主方向,只做满足客户端约束的最小修正
联邦聚合不再为了公平而改写全局优化方向。此前的方法通过客户端重加权、梯度修正或对称的多目标共同下降来提升客户端公平性,往往会改变全局更新方向。FedPCD把常规FedAvg聚合当作主目标,把各客户端更新当作次级约束,只在约束被违反时做满足要求所需的最小修正;在CIFAR-10、CIFAR-100与Fashion-MNIST上,它在全部18种配置中取得最高全局精度,并在其中17种取得最高的最差10%客户端精度。
联邦聚合不再为了公平而改写全局优化方向。此前的方法通过客户端重加权、梯度修正或对称的多目标共同下降来提升客户端公平性,往往会改变全局更新方向。FedPCD把常规FedAvg聚合当作主目标,把各客户端更新当作次级约束,只在约束被违反时做满足要求所需的最小修正;在CIFAR-10、CIFAR-100与Fashion-MNIST上,它在全部18种配置中取得最高全局精度,并在其中17种取得最高的最差10%客户端精度。
已读完全部报道