FedFit 用双向量库参数化与量化把联邦 LoRA 微调的通信量压缩至多 100 倍，困惑度与标准联邦 LoRA 相当
FedFit 针对联邦微调大语言模型时通信开销大、以及 LoRA 在联邦场景下「乘积之和（SoP）准确但通信贵」与「和之乘积（PoS）省通信但聚合不准」的两难，提出由两个紧凑且不相交的全局向量库重建高维适配矩阵的参数化方式，配合在解耦单库更新与经残差谱聚合校正的联合更新之间交替的优化调度，并叠加分块量化与客户端误差反馈，在 Qwen2.5 模型上取得与标准联邦 LoRA 相当的困惑度，同时压缩比最高提升 100 倍，并给出理论收敛保证。