# 模型合并

多任务部署常要把多个独立微调的模型合成一个，但现有合并方法把所有任务压进同一个共享低秩空间，子空间方向不一致的任务会丢失关键方向。GRAM只用微调后的权重，先按任务输出子空间之间的主角几何把任务分成若干组，再在每组内做标准的SVD合并。在Flan-T5-Base的GLUE上平均准确率83.8%，高于全局合并的81.9%和最强基线TSV-Merge的81.7%，代价是多部署一个模型。

多任务部署常要把多个独立微调的模型合成一个，但现有合并方法把所有任务压进同一个共享低秩空间，子空间方向不一致的任务会丢失关键方向。GRAM只用微调后的权重，先按任务输出子空间之间的主角几何把任务分成若干组，再在每组内做标准的SVD合并。在Flan-T5-Base的GLUE上平均准确率83.8%，高于全局合并的81.9%和最强基线TSV-Merge的81.7%，代价是多部署一个模型。

该工作提出一套路由分析工具包，在 DeepSeekMoE、OLMoE 与 Qwen3-MoE 上通过交叉源模型与合并模型的 router 输入和参数、以及 token 级与任务级配对评估，发现大多数专家重分配由输入位移而非参数变化引起，源相对路由差异对源路由恢复的下一 token 似然增益预测接近随机，不同专家选择可产生方向相似的混合输出，因此把路由失败重新定义为在固定非路由参数下、特定路由干预可恢复的任务损失，并据此提出 Selective Router Repair 作为案例研究，未发现源专家 token 似然优势能可靠识别有益的局部修正。

该工作提出一套路由分析工具包，在 DeepSeekMoE、OLMoE 与 Qwen3-MoE 上通过交叉源模型与合并模型的 router 输入和参数、以及 token 级与任务级配对评估，发现大多数专家重分配由输入位移而非参数变化引起，源相对路由差异对源路由恢复的下一 token 似然增益预测接近随机，不同专家选择可产生方向相似的混合输出，因此把路由失败重新定义为在固定非路由参数下、特定路由干预可恢复的任务损失，并据此提出 Selective Router Repair 作为案例研究，未发现源专家 token 似然优势能可靠识别有益的局部修正。

该工作构建了 ACLArena——一条数学、搜索、电商、指令遵循四阶段顺序后训练流水线，从模型层与 token 层诊断能力遗忘与迁移，系统比较多教师在线策略蒸馏（MMOPD）、自蒸馏微调（SDFT）与模型合并三种整合范式，并提出混合低秩专家（MLE）：先用 SDFT 把多域轨迹整合进共享骨干，再为每个阶段冻结骨干、训练一个经 RL 优化的 LoRA 专家并按环境上下文路由，在四个推理与智能体任务上同时改善域内与域外表现。

该工作构建了 ACLArena——一条数学、搜索、电商、指令遵循四阶段顺序后训练流水线，从模型层与 token 层诊断能力遗忘与迁移，系统比较多教师在线策略蒸馏（MMOPD）、自蒸馏微调（SDFT）与模型合并三种整合范式，并提出混合低秩专家（MLE）：先用 SDFT 把多域轨迹整合进共享骨干，再为每个阶段冻结骨干、训练一个经 RL 优化的 LoRA 专家并按环境上下文路由，在四个推理与智能体任务上同时改善域内与域外表现。