跳到主要内容
检索

Yifan Li

1 篇关联报道

订阅更新
  1. arXiv

    不同大模型也能联邦协作:FedVP 不合并参数,只汇集本地训练的验证器

    联邦学习通常要求各机构共享同一套模型骨干,才能聚合参数更新,这使使用不同家族、不同规模大模型的机构难以协作。FedVP 把协作从参数聚合改为共享验证:每个客户端用本地数据和自家冻结大模型生成的候选回答训练一个验证器,服务器把这些独立训练的验证器汇成池,推理时按池内评分挑选回答,骨干参数始终不合并。在五个医疗问答数据集上,各中心分别使用 3B 到 14B 的 Qwen 与 LLaMA 骨干,同一个验证器池无需重新训练即可复用于全部五个骨干,平均准确率比最强的常规联邦基线高 1.46 到 5.79 个百分点。

已读完全部报道