缺失模态下联邦学习服务器该听谁的：RASO按预测依赖选贡献者，拼接融合下KU-HAR从41.30升到49.13
核心概要
多模态联邦学习中，客户端只观测到部分模态时，服务器按“谁可用”聚合更新会漏掉仍在参与预测的编码器。RASO改为按预测依赖和本地优化器成员资格挑选每个组件的贡献者，并对编码器保留动量、把共享预测块同步到当前聚合。在KU-HAR、CREMA-D等数据集与两种融合结构上，拼接融合下KU-HAR的宏F1由可用性规则的41.30升到49.13，掩码注意力下RASO在UCI-HAR、KU-HAR、CREMA-D领先，CrisisMMD则由FedOpt领先。
深度剖析
服务器聚合多模态联邦学习更新时，需要区分客户端观测到哪些模态与哪些组件真正参与了它的本地学习，因为缺失模态的编码器仍可能通过缺失输入处理获得任务梯度。 按模态可用性挑选贡献者的做法，在拼接融合下会跳过缺失模态编码器的更新，却保留与它一起学出的预测块更新。 在KU-HAR与CREMA-D的拼接融合诊断中，缺失编码器的梯度份额平均为0.206和0.148，其缺失输入与完整输入梯度的余弦相似度为0.027–0.183。
RASO为每个组件单独确定贡献者，再施加与该组件角色匹配的服务器更新。 此前服务器优化对所有客户端聚合统一施加动量，不区分编码器与共享预测块。 在掩码注意力、固定本地训练协议与贡献者规则的对照中，预测块动量在当前编码器聚合下提高分数，但在持续编码器更新下在三个数据集上全部降低分数。
编码器更新用动量累积残差，共享预测块则直接同步到当前聚合，而不是沿用历史方向。 预测块的历史动量与编码器的持续更新搭配时表现最差，说明两者的更新策略必须成对选择。 在掩码注意力下，当前编码器加当前预测块的UCI-HAR、KU-HAR、CREMA-D分数为55.00、39.23、42.46，而持续编码器加持续预测块为5.31、32.47、42.27。
在完整200轮训练的主比较中，RASO在多数数据集与融合结构上取得最高或接近最高的宏F1。 与FedAvg、FedOpt、FedProx、PmcmFL、MFCPL、FedMobile、BMSFed、BLOSSOM等基线相比，RASO在掩码注意力下领先UCI-HAR、KU-HAR、CREMA-D，在拼接融合下领先CREMA-D并超过FedOpt的全部四个数据集。 掩码注意力下RASO的UCI-HAR、KU-HAR、CREMA-D为63.33、48.30、48.52，拼接融合下为59.41、49.13、48.20；CrisisMMD上掩码注意力由FedOpt的11.00领先，拼接融合由FedMobile的11.28领先。
启示与展望
评估覆盖UCI-HAR、KU-HAR、CREMA-D与CrisisMMD四个数据集，采用两模态的拼接与掩码注意力两种融合结构，训练为10%参与率、一个本地轮次、批大小16，终点评测在第200轮；贡献者诊断只在拼接融合下进行，掩码注意力下支持与可用性重合。
预测块动量在当前编码器聚合下有益、在持续编码器更新下有害，这一相互作用是在掩码注意力、固定本地协议下观察到的；匹配步长回放显示可用性候选的即时DEV损失更低，与终点评测方向不同；匹配训练/测试缺失率下跳过完全缺失客户端会改变各率下的人群。