联邦大模型聚合不再只看两两相似：把LoRA更新放进超图传消息，恶意权重压到近零
核心概要
联邦大模型聚合时，服务器把每个智能体的LoRA更新当作超图节点，用超边消息传递识别并压制被投毒的知识，在AG News与Yahoo! Answers上准确率高于Multi-Krum、FoolsGold和FLTrust。
深度剖析
联邦大模型在聚合阶段多了一道自愈机制：服务器先判断哪些智能体的更新在语义上不一致，再决定聚合权重，而不是把所有上传的更新等权相加。 此前的拜占庭防御主要面向一般联邦学习，靠鲁棒聚合、更新相似度或可信计算筛掉恶意贡献，联邦大模型场景下恶意更新如何破坏语义一致性并未被专门处理。 在AG News上，HMP-GAE用Qwen-2.5取得88.95%准确率，比Multi-Krum、FoolsGold和FLTrust分别高3.27%、0.95%和1.48%；用Llama-3.2取得91.44%，分别高2.28%、1.81%和1.21%。
每个智能体的更新先被表示成超图里的一个节点，超边把多个更新连在一起，服务器通过节点与超边之间来回传消息，得到能反映群体关系的嵌入。 超图消息传递（在节点和超边之间迭代交换信息）取代了只看两两相关性的图结构，因此能捕捉单个更新或成对比较容易漏掉的高阶关系。 服务器用图自编码器重建节点连接和超边归属，重建误差与历史检查点的一致性一起决定每个智能体的聚合权重，恶意权重被压到接近零，而五个良性用户保持稳定正权重。
消融实验把超图消息传递和超边重建分别去掉，验证两者各自的作用。 去掉超图消息传递、只保留图自编码器时，Qwen-2.5在Yahoo! Answers上的准确率从61.12%降到59.73%，语义熵从0.6378升到1.1034，困惑度从1061.74升到1220.49。 去掉超边重建后，同一设置下准确率为60.01%、语义熵0.7449、困惑度1130.91，说明两项组件都对最终指标有贡献。
启示与展望
评估覆盖AG News与Yahoo! Answers两个文本分类数据集，骨干为Qwen-2.5与Llama-3.2，服务器端只使用聚合参数和历史检查点，不接触本地私有数据。逐用户信任权重分析显示，HMP-GAE把两个恶意用户的权重压到接近零并保持到后续轮次，同时给五个良性用户稳定正权重。读者若关心非分类生成任务或更大规模智能体数量，需要等待相应设置下的验证。
逐类困惑度显示，HMP-GAE在AG News四类上均最低，但在Yahoo! Answers上并非每一类都最低：Qwen-2.5下FoolsGold在Science & Mathematics更低，FLTrust在Health、Sports以及Politics & Government更低；Llama-3.2下FLTrust在Sports和Politics & Government更低。按用户分配信任可能压低某个对特定类别仍有用的不可信用户的贡献，形成压制恶意与保留类别知识之间的取舍。