模型合并通常要求所有专家用同一个LoRA秩，但各领域的最优秩并不相同。研究者在数学、指令跟随、多语言三个域、四个秩、三种模型规模上训练36个专家，用六种合并方法比较统一秩与各域自选秩：简单平均和按损失效用选分量的方法不受影响，多域准确率最多提高1.8个百分点；TIES、KnOTS这类按奇异值大小裁剪并消解冲突的方法表现不一致，最多损失4个百分点。原因是按幅度选分量会把奇异值最小的指令适配器几乎整体丢弃，IFEval随之下降16到25个百分点。
把语言模型强化学习阶段的参数更新单独取出，只保留每个矩阵中最强的一个方向并按原幅度缩放，再注入视觉语言模型的语言模块，这种免训练迁移在三个模型家族、五个视觉推理基准的15组比较中有12组优于整段更新插值，Qwen接收方在MathVision上提升8.55个百分点。对照实验显示，仅匹配更新幅度或使用任意低秩方向都无法复现这一增益，说明后训练中获得的能力与可跨模型迁移的部分并不等同。
该工作提出SMAT（Simple MAT），从单个专家视角把常见模型合并方法归纳为Scale（重加权自身更新）、Mask（删除选定坐标）与Perturb（加入其他专家的更新）三种操作，在训练中采样缩放系数、掩码与加性噪声来模拟合并后的参数并联合优化专家损失与模拟合并损失，配合周期调度、算子融合与参数存储切换实现每步一次前向一次反向；在Llama-3.2-1B-Instruct、Llama-3.1-8B-Instruct、CLIP ViT-B/32与ViT-L/14四个骨干上，SMAT相对各骨干最强基线把五种合并方法的平均分提高1.07–2.16分，训练时间开销相对标准微调低于2%。
该工作指出 LoRA 合并中“每层、每任务平均分配秩预算”的均匀假设是合并模型与单任务 LoRA 性能差距的主要来源，并提出免数据的 Net Utility 指标：对每个任务 LoRA 做 SVD 分解，按“对自身任务的贡献减去对其他任务的干扰”给每个奇异方向打分，再在总秩预算约束下全局挑选得分最高的方向；在 7 个视觉任务与 6 个语言任务上叠加于五种合并方法与三种合并空间，视觉平均提升 2.1%、语言平均提升 2.2%。
已读完全部报道