FedFit 用双向量库参数化与量化把联邦 LoRA 微调的通信量压缩至多 100 倍，困惑度与标准联邦 LoRA 相当
核心概要
FedFit 针对联邦微调大语言模型时通信开销大、以及 LoRA 在联邦场景下「乘积之和（SoP）准确但通信贵」与「和之乘积（PoS）省通信但聚合不准」的两难，提出由两个紧凑且不相交的全局向量库重建高维适配矩阵的参数化方式，配合在解耦单库更新与经残差谱聚合校正的联合更新之间交替的优化调度，并叠加分块量化与客户端误差反馈，在 Qwen2.5 模型上取得与标准联邦 LoRA 相当的困惑度，同时压缩比最高提升 100 倍，并给出理论收敛保证。
Fig. 1 : Illustration of client k k in FedFit framework
arXiv深度剖析
提出不相交共享向量库参数化：用两个紧凑且互不相交的全局向量库重建高维适配矩阵，从而大幅降低联邦微调的通信开销。 相对直接传输完整 LoRA 适配矩阵的联邦方案，传输对象从高维矩阵变为紧凑向量库，通信量随参数化维度而非矩阵规模增长。 摘要层面给出机制描述与「压缩比最高 100 倍」的实验结论，具体压缩比随配置变化的细节未在摘要中展开。
提出交替优化调度以化解 SoP 与 PoS 的聚合两难：在允许精确聚合的解耦单库更新与经残差谱聚合机制校正的联合更新之间循环。 此前联邦 LoRA 需在 SoP 的聚合准确性与 PoS 的通信效率之间二选一，该调度试图同时保留两者。 摘要给出机制说明与理论收敛保证的声明，收敛条件与速率的具体形式未在摘要中给出。
在向量传输环节叠加分块量化与客户端误差反馈，进一步压缩所传输的向量。 在向量库参数化已降低通信量的基础上再做量化压缩，并用客户端误差反馈补偿量化误差。 摘要层面为方法描述，量化位宽与误差反馈的具体设置未在摘要中说明。
在 Qwen2.5 模型上的实验显示，FedFit 的困惑度与标准联邦 LoRA 方法相当，同时压缩比最高可达 100 倍。 把「通信大幅压缩」与「困惑度不劣化」同时作为结果呈现，而非以精度换取通信。 摘要报告了模型族与结论方向，未给出数据集、客户端数量、压缩比与困惑度的逐项对照数值。
启示与展望
该工作面向需要在多客户端间隐私保护地微调大语言模型的场景，尤其是通信带宽受限、又希望保留 LoRA 式低秩适配的部署。其设计目标是让传输对象从高维适配矩阵转为紧凑向量库，并在聚合时兼顾准确性与通信效率，因此适用于以适配器微调为主、可接受交替更新调度的联邦流程。摘要所述结果建立在 Qwen2.5 模型上，说明该路线在同类 Transformer 架构与 LoRA 式适配器上具备可复用的方法框架；对希望降低跨设备通信预算、同时维持困惑度水平的研究者与工程团队，这一参数化与调度提供了可直接借鉴的设计。
摘要未说明实验所用的数据集、客户端数量、模型规模与压缩比的具体配置，因此「困惑度相当」与「最高 100 倍压缩」在何种条件下成立，仍需正文核对。理论收敛保证所依赖的假设（如目标函数性质、客户端采样方式、量化误差界）在摘要中未展开，收敛速率与条件需要阅读正文确认。分块量化的位宽、误差反馈的实现方式，以及交替调度中单库更新与联合更新的周期设置，都会影响实际通信与精度权衡，这些超参数的影响范围仍是开放问题。此外，摘要未报告除困惑度之外的下游任务表现，压缩是否影响具体任务能力尚待验证。