车辆离开后不必整体重训:单轮联邦模型可精确编辑,移动模拟中累计时间省36%–44%
核心概要
单轮联邦学习把训练压到一次通信,但模型训练完就固化,车辆加入或退出后只能整体重训。F-SOSA 按固定规模随机抽取客户端子集,使相邻设备集合下的输出分布在总变差距离上有界,再把曲率感知融合改写成按客户端可加的充分统计量投影,并据此给出撤回贡献的 F-SOSA-U 与纳入新贡献的 F-SOSA-I。在 SUMO 城市移动模拟中,两者精度与重训相当,累计时间与通信开销分别降低 36%–44% 和 22%–33%。
深度剖析
单轮联邦学习训练完成后,模型不再随参与设备集合变化而调整;设备加入或退出时,要么整体重训,要么接受与重训不一致的近似更新。 此前单轮联邦方法只优化一次融合操作,无法在训练后处理客户端贡献的新增与撤回;近似编辑(微调、模型校准)的偏差还会沿后续编辑累积。 在 MNIST、SVHN、CIFAR-10、FEMNIST 上与 FedFisher、FedLPA、Dense 三个单轮联邦基线比较,F-SOSA 在所有数据集和异质度下通信开销最低;在模拟城市移动的 SUMO 场景中,F-SOSA-I/U 的精度与重训相当,累计时间与通信开销分别降低 36%–44% 和 22%–33%。
编辑之所以能省,是因为大多数请求根本不需要改动被抽中的客户端子集,模型和中间状态可以直接复用。 F-SOSA 先对客户端做固定规模的均匀随机子采样,使相邻设备集合下的输出分布在总变差距离上有界,稳定性水平由采样率决定。 F-SOSA-U 在收到撤回请求时先检查该客户端是否在子集内,不在则无需编辑;F-SOSA-I 以新客户端的入选概率做一次伯努利判定,未命中则保留原子集。每次触发的编辑只替换一个客户端贡献并做一次投影求解,协调端成本与历史参与客户端总数无关。
融合步骤被改写成对一组按客户端可加的充分统计量做投影,因此单个客户端的增删只需加减对应项。 曲率感知融合原本是迭代优化,单个客户端变化后一般要重跑整个融合过程,旧轨迹无法复用。 把融合写成仿射约束下的正交投影后,模型由求解一个以聚合曲率统计量为系数的线性系统得到;该线性系统即使聚合 Fisher 矩阵稀疏、奇异或低秩也始终有解,且不同对偶解给出同一个投影模型。曲率表示可选对角或 K-FAC,在曲率保真度与通信、协调端计算之间取舍。
启示与展望
演示范围是单轮联邦下的分类任务(MNIST、SVHN、CIFAR-10、FEMNIST)与 BDD100K 上的 YOLOv8s 检测,编辑序列来自 SUMO 卢森堡场景早高峰的车辆到达与离开;理论分析假设编辑序列中活跃设备数保持在初始规模的常数倍内,实验中改用固定比例实现以容纳更大的人口变化。
精确性以编辑与重训在模型和全部中间状态上统计不可区分来定义,依赖共享初始化与固定的每客户端训练随机性;稳定性与效用之间存在取舍,采样率增大会提升精度但削弱稳定性并提高期望编辑成本。实验中的固定比例实现是为容纳超出理论有界范围的人口变化,与理论设定并不完全一致。
