跳到主要内容
检索

Haixin Wang

1 篇关联报道

订阅更新
  1. arXiv

    ACLArena 用四阶段后训练流水线量化智能体灾难性遗忘,并提出 LoRA 专家混合把 AIME26 从 10.21 拉回接近独立专家水平

    该工作构建了 ACLArena——一条数学、搜索、电商、指令遵循四阶段顺序后训练流水线,从模型层与 token 层诊断能力遗忘与迁移,系统比较多教师在线策略蒸馏(MMOPD)、自蒸馏微调(SDFT)与模型合并三种整合范式,并提出混合低秩专家(MLE):先用 SDFT 把多域轨迹整合进共享骨干,再为每个阶段冻结骨干、训练一个经 RL 优化的 LoRA 专家并按环境上下文路由,在四个推理与智能体任务上同时改善域内与域外表现。

已读完全部报道