个性化联邦学习盯住每个样本的表征漂移：CIFAR-100上63.05%，比最强基线高5.96个百分点
核心概要
个性化联邦学习要在共享知识与客户端本地适配之间取平衡，但非独立同分布数据和部分客户端参与会让共享表征在通信轮次间漂移。FedEAGD为每个客户端维护一个指数滑动平均教师，用样本当前与历史共享表征的余弦差异度量漂移，并据此逐样本调整历史蒸馏强度，同时按阶段逐步引入个性化残差。在CIFAR-100、Dirichlet浓度参数α=0.1的设置下，它取得63.05%的准确率，比所评估的最强基线高5.96个百分点。
深度剖析
个性化联邦学习多了一种按样本调节历史监督的做法：同一客户端内的不同样本不再接受相同强度的历史约束，表征变化大的样本获得更强的历史蒸馏。 此前的个性化方法主要从数据分布、模型部件或客户端间关系刻画个性化，历史监督通常建在模型级或客户端级，样本级表征随通信轮次的变化较少被利用。 在CIFAR-100、α=0.1的Practical设置下，FedEAGD取得63.05%准确率，比所评估的最强基线高5.96个百分点；同一设置下CIFAR-10为92.27%，高出1.54个百分点。
每个客户端保留一个共享特征提取器的指数滑动平均副本作为历史教师，它不参与梯度更新，只提供历史表征参照。 指数滑动平均教师把客户端历轮保留的共享模型状态压成一个按时间指数衰减加权的摘要，无需存储完整历史模型序列。 对每个样本，当前共享表征与教师表征的余弦相似度给出漂移量，蒸馏系数取基础系数乘以1加漂移量、并以预设上限截断，因此漂移越大监督越强且强度有界。
个性化信息通过门控残差逐步并入共享表征，融合系数在激活轮次前为零，随后在预设爬升期内线性升到一，之后保持为一。 若一开始就加入个性化残差，可能干扰早期的共享表征学习，因此融合按通信轮次分阶段放开。 消融在CIFAR-100 Pathological设置与CIFAR-10 Practical设置上进行：去掉历史教师分别降低1.26和1.09个百分点，把自适应蒸馏系数换成固定值0.50分别降低0.74和0.64个百分点，去掉渐进门控残差融合分别降低0.51和0.43个百分点。
启示与展望
演示范围是MNIST、CIFAR-10、CIFAR-100与DomainNet上的图像分类，默认20个客户端、100轮通信、全参与，骨干为两层卷积加SE模块的小型网络；DomainNet使用6个域对应的6个客户端。通信量按每客户端每轮双向传输共享特征提取器计，CIFAR-100上该提取器含2,153,216个参数，32位浮点下约8.61 MB，双向约17.23 MB，且不计协议开销，也不等同于网络时延或全网总流量。作者提出后续将考察异步客户端参与、通信受限下的部署以及更复杂的异构网络环境，并探索边缘计算与物联网等分布式系统。
作者指出，降低客户端参与率对CIFAR-100的影响比CIFAR-10更重：参与率从1.0降到0.2时，CIFAR-10从79.78%降到76.95%，CIFAR-100从45.74%降到35.50%。客户端数从20增到50和100时，CIFAR-100准确率从63.05%降到59.22%和50.73%，作者将其与本地数据更碎片化相联系。MNIST上多数个性化方法已超过99%，差异很小；DomainNet上相对FedAS的优势仅0.40个百分点。通信量估计不含协议开销，作者明确它不应被解读为网络时延或全网总流量的测量。