不同大模型也能联邦协作：FedVP 不合并参数，只汇集本地训练的验证器
核心概要
联邦学习通常要求各机构共享同一套模型骨干，才能聚合参数更新，这使使用不同家族、不同规模大模型的机构难以协作。FedVP 把协作从参数聚合改为共享验证：每个客户端用本地数据和自家冻结大模型生成的候选回答训练一个验证器，服务器把这些独立训练的验证器汇成池，推理时按池内评分挑选回答，骨干参数始终不合并。在五个医疗问答数据集上，各中心分别使用 3B 到 14B 的 Qwen 与 LLaMA 骨干，同一个验证器池无需重新训练即可复用于全部五个骨干，平均准确率比最强的常规联邦基线高 1.46 到 5.79 个百分点。
深度剖析
联邦协作不再要求各机构使用同一套大模型骨干，使用不同家族、不同规模模型的中心也能互相借用彼此学到的知识。 常规联邦微调依赖共享骨干，客户端只能交换彼此兼容的参数更新交由服务器聚合，骨干架构或规模不同就无法协作。 在五个医疗问答中心上，各中心分别使用 LLaMA-3.2-3B、Qwen2.5-7B、LLaMA-3-8B、Qwen2.5-3B 和 Qwen2.5-14B 骨干，FedVP 在全部五个客户端上都有提升，平均准确率比最强的常规联邦基线高 1.46 到 5.79 个百分点。
协作的载体是一个验证器池，它判断一条候选回答是否正确，而不需要读取生成该回答的模型参数。 每个客户端用本地数据和自己冻结的大模型采样出的候选回答，以参考答案判定对错作为标签，用 LoRA 微调一个验证器，只更新适配器和打分组件。 训练好的验证器不做参数聚合，各自保留骨干与打分结构汇入池中；推理时池内各验证器对候选回答给出正确性分数，取平均后选出得分最高的回答，同一池子可直接用于不同目标骨干而无需再训练。
启示与展望
评估限定在五个医疗问答数据集上，各中心分别使用 LLaMA 与 Qwen 家族 3B 到 14B 的骨干，并沿用 FedCoT 的数据组织方式；这一范围之外的表现尚未展示。
评估只覆盖医疗问答和 LLaMA、Qwen 两类骨干，作者指出还需在更多领域以及更广的模型家族与规模上评估，才能判断更广泛的适用性；蒸馏后的单个验证器与教师池表现相当，作者提到小幅提升可能来自蒸馏引入的额外微调阶段。