AutoAdapt 用自动潜在领域发现训练独立 LoRA 适配器,在 14 个基准上与全领域单适配器持平并支持免重训扩展
AutoAdapt 提出一种模块化指令微调框架:先用 K-means、BERTopic 与 MNLI 三种方法自动发现潜在领域,再为每个领域独立并行训练一个 LoRA 适配器,并在推理时用基于质心的无参数路由;在 14 个领域基准与 GPT-4o 成对评判中,其表现与在全部领域上训练的单 LoRA 适配器相当,且新增或更新领域只需训练单个适配器而无需全模型重训。
AutoAdapt 提出一种模块化指令微调框架:先用 K-means、BERTopic 与 MNLI 三种方法自动发现潜在领域,再为每个领域独立并行训练一个 LoRA 适配器,并在推理时用基于质心的无参数路由;在 14 个领域基准与 GPT-4o 成对评判中,其表现与在全部领域上训练的单 LoRA 适配器相当,且新增或更新领域只需训练单个适配器而无需全模型重训。
已读完全部报道