# 多模态联邦学习

多模态联邦学习中，客户端只观测到部分模态时，服务器按“谁可用”聚合更新会漏掉仍在参与预测的编码器。RASO改为按预测依赖和本地优化器成员资格挑选每个组件的贡献者，并对编码器保留动量、把共享预测块同步到当前聚合。在KU-HAR、CREMA-D等数据集与两种融合结构上，拼接融合下KU-HAR的宏F1由可用性规则的41.30升到49.13，掩码注意力下RASO在UCI-HAR、KU-HAR、CREMA-D领先，CrisisMMD则由FedOpt领先。

多模态联邦学习中，客户端只观测到部分模态时，服务器按“谁可用”聚合更新会漏掉仍在参与预测的编码器。RASO改为按预测依赖和本地优化器成员资格挑选每个组件的贡献者，并对编码器保留动量、把共享预测块同步到当前聚合。在KU-HAR、CREMA-D等数据集与两种融合结构上，拼接融合下KU-HAR的宏F1由可用性规则的41.30升到49.13，掩码注意力下RASO在UCI-HAR、KU-HAR、CREMA-D领先，CrisisMMD则由FedOpt领先。