AutoAdapt 用自动潜在领域发现训练独立 LoRA 适配器，在 14 个基准上与全领域单适配器持平并支持免重训扩展
核心概要
AutoAdapt 提出一种模块化指令微调框架：先用 K-means、BERTopic 与 MNLI 三种方法自动发现潜在领域，再为每个领域独立并行训练一个 LoRA 适配器，并在推理时用基于质心的无参数路由；在 14 个领域基准与 GPT-4o 成对评判中，其表现与在全部领域上训练的单 LoRA 适配器相当，且新增或更新领域只需训练单个适配器而无需全模型重训。
Figure 1: Domain overlap between discovery methods on LLM-as-a-judge evaluation with GPT-4o.
arXiv深度剖析
AutoAdapt 把异构指令数据按自动发现的潜在领域切分，为每个领域训练一个独立 LoRA 适配器，并在推理时以余弦相似度路由到领域质心，全程不引入可训练路由参数。 与需要联合训练专家与路由的 MoE 架构，以及需要训练选择器适配器或 LLM 生成路由信号的既有方案相比，该工作把无参数路由扩展到指令微调场景，并采用无分类体系的领域发现。 在 Mistral-7B-Instruct-v0.3 上使用 509,174 条指令、8 个公开数据集训练，与在全部领域上训练的单 LoRA 适配器对比，评测覆盖 14 个领域基准与 GPT-4o 盲评成对偏好。
三种独立发现方法在整体上与单 LoRA 基线达到相当水平：GPT-4o 盲评中适配器对单 LoRA 的胜率为 K-means 50.5%（858/1,700）、BERTopic 50.2%（1,205/2,400）、MNLI 46.9%（1,004/2,143）。 此前固定领域专门化的工作展示了参数高效方法可匹配全模型微调，但未提供可扩展性的实证；该工作同时给出跨方法对比与部署后扩展的演示。 每个领域从测试集采样 100 条实例进行盲评、参考锚定的成对比较；基准侧按逆方差加权合并 14 个基准的准确率差并报告 95% 置信区间。
领域发现方法之间呈现部分收敛：K-means 与 BERTopic 的 ARI 为 0.42、NMI 为 0.55，而 MNLI 与其他两者的 ARI 仅 0.08/0.07、NMI 为 0.26/0.28，说明基于蕴含的分组与其他方法几乎完全不同。 该结果把“自动发现是否稳定”从单一方法的内部指标，扩展为跨方法一致性的量化比较，并显示 MNLI 是唯一在 RACE、MBPP、CRUXEval 与 HellaSwag 上取胜的 AutoAdapt 方法。 基于三种方法在同一数据上产生的领域划分计算 ARI 与 NMI，并结合各方法在 14 个基准上的胜负模式进行解读。
扩展性是架构的结构性属性：加入 10,000 条 Magicoder 样本后 99.9%（8,494/8,500）路由不变，更新后的 c15 适配器取得最低 NLL 0.1926 与困惑度 1.212；新增法律领域后路由稳定性 99.7%（8,472/8,500），法律适配器在 200 条留出 LawInstruct 问答上分别以 126/200 与 129/200 被偏好。 与需要全量重训的整体式微调相比，该工作用部署后更新与新增领域两个模拟场景，直接展示只训练单个适配器即可完成扩展，且其他适配器不受影响。 两个模拟场景分别报告路由稳定性、留出集语言建模指标（NLL、PPL）与 GPT-4o 盲评成对偏好；并行训练在单张 A100 80GB 上同时训练三个适配器，墙钟时间 10h 8min，相对单 LoRA 为 1.7 倍、相对全模型微调为 2.0 倍。
启示与展望
该结果面向异构且持续演化的指令微调部署场景，尤其是算力受限、需要频繁增补或更新领域的团队。它使新增领域只需训练一个额外适配器、更新领域只需重训对应适配器，其他组件保持不变，从而避免整体式重训；并行训练在单张 A100 80GB 上同时训练三个适配器，墙钟时间相对单 LoRA 为 1.7 倍、相对全模型微调为 2.0 倍。推理侧以质心路由替代神经路由，基座模型常驻显存，仅按请求切换轻量适配器。作者指出未来工作应超出低资源部署场景，并考察该方法在更大模型上的表现。
读者仍需关注若干开放问题：领域发现方法之间并不一致，MNLI 与其他方法的 ARI 仅 0.07–0.08，说明“自动发现”的结果依赖所选方法；编码类适配器在基准与盲评中均弱于单 LoRA，作者推测多样编码领域受益于共享表示；MultiNLI 上各方法一致为负效应，作者将其归因于主题式切分对主题不受约束内容的影响，并提出用功能嵌入增强主题嵌入作为未来方向。此外，扩展性结论来自两个模拟场景，法律领域评测仅 200 条留出样本，且作者明确将结论限定在低资源部署场景与当前基座规模。