跳到主要内容
检索

Kwangmin Ki

1 篇关联报道

订阅更新
  1. arXiv

    CPR 用 token 级路由在基座模型与 SFT 专家之间切换,域性能超 SFT 专家 1.4-5.5% 且通用能力下降从 3.4-14.5% 收窄至最多 0.5%

    该工作提出 CPR(Critical-Point Routing),一种在基座模型与其 SFT 专家衍生模型之间进行 token 级路由的框架,依据基座模型失败而专家成功的“关键 token”训练轻量分层路由器估计逐 token 调用专家的概率,并配合动量平滑与阈值门控的推理流程;在多种模型-领域配置下,CPR 在域性能上超过 SFT 专家 1.4-5.5%,同时把通用能力下降从 3.4-14.5% 恢复到最多 0.5%,且仅对约三分之一 token 调用专家,开销很小。

已读完全部报道