LoRA秩不必再统一：按域各选秩，平均与效用选择不掉分，冲突消解法最多丢4个百分点
核心概要
模型合并通常要求所有专家用同一个LoRA秩，但各领域的最优秩并不相同。研究者在数学、指令跟随、多语言三个域、四个秩、三种模型规模上训练36个专家，用六种合并方法比较统一秩与各域自选秩：简单平均和按损失效用选分量的方法不受影响，多域准确率最多提高1.8个百分点；TIES、KnOTS这类按奇异值大小裁剪并消解冲突的方法表现不一致，最多损失4个百分点。原因是按幅度选分量会把奇异值最小的指令适配器几乎整体丢弃，IFEval随之下降16到25个百分点。
深度剖析
专家不必共享同一个LoRA秩：只要合并算子不按分量大小做取舍，每个领域就可以各自选择适合自己的秩。 此前的合并流程默认所有专家在同一秩上微调，秩的选择因此被跨专家绑定，而各领域单独训练时的最优秩并不一致。 在0.8B、2B、4B三种Qwen3.5规模上，把每种方法从最好的统一秩配置换到最好的异构秩配置，简单平均、SVD截断和效用选择三种方法的差值都落在正负1.4个百分点的分辨下限之内，其中简单平均在0.8B上取得1.8个百分点的最大单项增益。
损失落在指令跟随这一项上，而不是均匀分摊到三个领域。 按奇异值大小裁剪时，被保留的子空间在专家之间严重失衡，七个配置中有六个出现某个专家占据至少0.64的保留能量、另一个被压到接近零。 指令适配器的奇异值最小，因此在统一秩下几乎被整体丢弃，IFEval下降16到25个百分点；改用按损失效用选分量后，三个专家都被保留，在8倍秩范围内准确率只波动0.7个百分点，而4B规模上TIES的波动为6.7个百分点。
合并时保留哪些谱分量，比保留多少能量更能决定合并后的表现。 统一秩下池化分量中约65%到84%带有正的损失效用，而截断预算只放行约三分之一，秩越高被幅度准则挡在门外的有用分量越多。 效用选择保留的谱能量更少，合并结果却更好；在4B规模上，GGSM、SVD、简单平均与贪心汤四种方法的平均分差落在分辨下限之内，被视为统计上打平。
启示与展望
结论建立在Qwen3.5的0.8B、2B、4B三个稠密检查点上，专家全部用QLoRA在4比特量化底座上微调，任务域只有数学、指令跟随和多语言三个，合并各配置只用一个随机种子。作者提出后续需要更多随机种子和更大规模评测来确认异构秩带来的小增益。
作者指出一阶近似会对部分分量高估效用，尤其是预测分数极端的分量，可能需要更高阶修正；异构秩带来的小增益低于1.4个百分点的分辨下限，需要更多随机种子和更大评测才能确认；研究只覆盖三个领域、仅LoRA微调和单一模型家族。