AutoAdapt 用自动潜在领域发现训练独立 LoRA 适配器,在 14 个基准上与全领域单适配器持平并支持免重训扩展
AutoAdapt 提出一种模块化指令微调框架:先用 K-means、BERTopic 与 MNLI 三种方法自动发现潜在领域,再为每个领域独立并行训练一个 LoRA 适配器,并在推理时用基于质心的无参数路由;在 14 个领域基准与 GPT-4o 成对评判中,其表现与在全部领域上训练的单 LoRA 适配器相当,且新增或更新领域只需训练单个适配器而无需全模型重训。
AutoAdapt 提出一种模块化指令微调框架:先用 K-means、BERTopic 与 MNLI 三种方法自动发现潜在领域,再为每个领域独立并行训练一个 LoRA 适配器,并在推理时用基于质心的无参数路由;在 14 个领域基准与 GPT-4o 成对评判中,其表现与在全部领域上训练的单 LoRA 适配器相当,且新增或更新领域只需训练单个适配器而无需全模型重训。
DreamTest 把递归状态空间模型改造成测试用世界模型,从 DRL 智能体的训练日志中学习智能体行为与环境动力学,对候选配置并行生成想象回合并以终止概率加权的失败预测打分,从而在不执行仿真器的情况下引导搜索;在 Parking、Humanoid、DonkeyCar 三个基准上,其平均 AUPRC 分别比最强基线高约 97%、12%、39%,五个分布外集合上最高增益达 145%、29%、44%,在相同仿真验证预算下最佳“DreamTest+搜索”组合平均多发现 29%、22%、79% 的新失败。
已读完全部报道