ReverseAdaptive 在实测字节口径下把联邦 LoRA 微调往返通信削减 40.5%，并以 0.0063 的留出损失代价落在通信-质量前沿的拐点上
核心概要
该工作以实测的每轮上传与下载字节数（而非参数量比例）衡量五种联邦 LoRA 协议，并以留出指令跟随损失构建统一的通信-质量前沿；其中 ReverseAdaptive 先学习两个 LoRA 因子、当训练损失的相对改进低于一个无量纲阈值后冻结其中一个，它位于前沿的拐点：相对 FLoRA 减少 40.5% 的实测往返通信而留出损失代价为 0.0063，并在留出损失上比在初始化时即冻结该因子的 FFA-LoRA 好 0.0182（超过各方法最大种子标准差的二十倍），同一阈值无需重新调参即可迁移到 LLaMA-3.2-3B 并节省 30.0%。
Figure 1: Measured communication-quality frontier on Alpaca-3k, TinyLlama-1.1B, IID, CUDA corpus. Five protocols, three from prior work, at four distinct operating points; error bars are one sample standard deviation over three seeds, and communication is identical across seeds. Held-out Δ \Delta loss is tuned minus base on the 500-example slice defined in Section 4.2 ; more negative is better. FLoRA (open circle) and FedIT (filled square) coincide at lower right. The segment from ReverseAdaptive to FFA-LoRA is markedly steeper than the segment preceding it, which Section 5.3 quantifies
arXiv深度剖析
论文对五种联邦 LoRA 协议测量了每轮上传与下载字节数，其中三种来自既有工作，并把它们放在同一条以留出指令跟随损失评分的通信-质量前沿上。 以往协议比较通常依据参数量比例，而这里改用实测字节作为通信成本口径，使不同协议在同一可测量尺度上可比。 证据来自对五种协议逐轮上传/下载字节的实测，以及以留出指令跟随损失作为质量评分；文本给出的是协议数量、测量口径与评分指标，未给出数据集规模或轮数细节。
该前沿存在一个拐点，ReverseAdaptive 位于该拐点：相对 FLoRA 减少 40.5% 的实测往返通信，留出损失代价为 0.0063。 这给出了在通信-质量权衡曲线上一个具体的可操作工作点，而不只是单一协议的性能数字。 依据是实测往返通信字节的 40.5% 降幅与 0.0063 的留出损失代价这一组配对数值。
ReverseAdaptive 在留出损失上比 FFA-LoRA 好 0.0182，而 FFA-LoRA 是在初始化时就冻结该因子。 两者差别在于冻结时机：ReverseAdaptive 先学习两个 LoRA 因子，待训练损失的相对改进低于一个无量纲阈值后再冻结其中一个，而 FFA-LoRA 从一开始就冻结。 0.0182 的留出损失差距被描述为超过各方法最大种子标准差的二十倍，说明该差距相对于种子波动是可分辨的。
同一阈值无需重新调参即可迁移到 LLaMA-3.2-3B，在那里节省 30.0%。 阈值在不同模型规模间的可迁移性意味着该相切换规则不必按模型重新搜索。 依据是在 LLaMA-3.2-3B 上沿用同一阈值所得到的 30.0% 节省，文本未说明该迁移实验的其他设置细节。
启示与展望
该结果面向以通信为主要成本的联邦 LoRA 微调场景：当比较协议时，应以实测的每轮上传与下载字节而非参数量比例作为成本口径，并以留出指令跟随损失作为质量口径，在此框架下 ReverseAdaptive 是前沿拐点上的一个可选工作点。它适用于希望在不显著牺牲留出损失的前提下压缩往返通信的实践者，且相切换阈值在 LLaMA-3.2-3B 上无需重新调参即可沿用，便于跨模型规模复用同一规则。
读者仍会关心：前沿的完整形状与拐点位置如何随协议与超参变化；无量纲阈值在何种训练损失尺度或数据分布下仍可迁移；0.0063 的留出损失代价在实际下游任务上意味着什么；以及除 LLaMA-3.2-3B 之外的其他模型规模是否同样无需重新调参。文本为摘要级内容，未包含图表与完整实验细节，因此上述问题在现有材料中仍属开放。