联邦微调不再二选一：全局适配器共享、个性化投影留在本地，十个数据集平均调和均值82.15

联邦视觉语言模型的微调现在可以同时保住客户端本地精度和对未见类别的识别能力，而不必在两者之间取舍。 此前的联邦视觉语言模型工作大多只做单一方向的个性化，只有少数几项同时兼顾个性化与泛化。 在十个图像数据集上，BLEND的调和均值平均为82.15，比最强基线高4.81个百分点，且跨数据集标准差为14.40，低于最强基线的16.46。

做法是把CLIP的视觉和文本编码器各插入一组可训练的全局适配器，再在视觉投影头上另开一条只属于本客户端的支路。 全局适配器在客户端本地训练后由服务器周期性聚合，个性化投影适配器不上传、始终留在客户端。 训练损失由两部分加权组成，一部分是融合表示上的交叉熵，另一部分是把全局视觉表示锚定到文本表示的运行锚损失，权重系数取0.2时调和均值最高。

聚合哪些参数直接决定了个性化与泛化的平衡点。 把全部可训练参数都聚合会提升泛化但明显压低个性化，完全不聚合则个性化尚可而泛化下滑。 在平均结果上，只聚合全局视觉与文本适配器、保留个性化投影适配器得到82.15的调和均值，高于全聚合的79.01、不聚合的77.71、只聚合视觉的71.82和只聚合文本的77.04。

这套方法面向基于CLIP的图像-文本分类任务，在十个图像数据集上以每类16个样本、Dirichlet分布模拟的非独立同分布客户端数据训练，并在iNaturalist-User-120k的真实分布上以更多客户端验证。它适用于需要在客户端本地保留私有适配器、同时共享部分参数的联邦微调场景。扩展到音频、视频、检索、生成式任务以及多任务设置，需要重新设计融合机制与锚定目标。

方法目前只覆盖CLIP式的图像-文本模态，扩展到其他多模态架构、检索与生成任务仍是开放方向。性能依赖控制个性化与泛化权衡的超参数，其在新环境中的自适应选择尚未解决。向完全去中心化、无服务器的联邦视觉语言模型扩展，以及引入差分隐私等隐私保护聚合机制，都还停留在待研究阶段。