# 联邦LoRA微调

该工作以实测的每轮上传与下载字节数（而非参数量比例）衡量五种联邦 LoRA 协议，并以留出指令跟随损失构建统一的通信-质量前沿；其中 ReverseAdaptive 先学习两个 LoRA 因子、当训练损失的相对改进低于一个无量纲阈值后冻结其中一个，它位于前沿的拐点：相对 FLoRA 减少 40.5% 的实测往返通信而留出损失代价为 0.0063，并在留出损失上比在初始化时即冻结该因子的 FFA-LoRA 好 0.0182（超过各方法最大种子标准差的二十倍），同一阈值无需重新调参即可迁移到 LLaMA-3.2-3B 并节省 30.0%。

该工作以实测的每轮上传与下载字节数（而非参数量比例）衡量五种联邦 LoRA 协议，并以留出指令跟随损失构建统一的通信-质量前沿；其中 ReverseAdaptive 先学习两个 LoRA 因子、当训练损失的相对改进低于一个无量纲阈值后冻结其中一个，它位于前沿的拐点：相对 FLoRA 减少 40.5% 的实测往返通信而留出损失代价为 0.0063，并在留出损失上比在初始化时即冻结该因子的 FFA-LoRA 好 0.0182（超过各方法最大种子标准差的二十倍），同一阈值无需重新调参即可迁移到 LLaMA-3.2-3B 并节省 30.0%。

FedFit 针对联邦微调大语言模型时通信开销大、以及 LoRA 在联邦场景下「乘积之和（SoP）准确但通信贵」与「和之乘积（PoS）省通信但聚合不准」的两难，提出由两个紧凑且不相交的全局向量库重建高维适配矩阵的参数化方式，配合在解耦单库更新与经残差谱聚合校正的联合更新之间交替的优化调度，并叠加分块量化与客户端误差反馈，在 Qwen2.5 模型上取得与标准联邦 LoRA 相当的困惑度，同时压缩比最高提升 100 倍，并给出理论收敛保证。

FedFit 针对联邦微调大语言模型时通信开销大、以及 LoRA 在联邦场景下「乘积之和（SoP）准确但通信贵」与「和之乘积（PoS）省通信但聚合不准」的两难，提出由两个紧凑且不相交的全局向量库重建高维适配矩阵的参数化方式，配合在解耦单库更新与经残差谱聚合校正的联合更新之间交替的优化调度，并叠加分块量化与客户端误差反馈，在 Qwen2.5 模型上取得与标准联邦 LoRA 相当的困惑度，同时压缩比最高提升 100 倍，并给出理论收敛保证。