跳到主要内容
检索

# 路由漂移分析

1 篇关联报道

订阅更新
  1. arXiv

    跨 DeepSeekMoE、OLMoE 与 Qwen3-MoE 的干预实验显示:合并后专家路由漂移多由输入表征位移引起,却无法预测源路由恢复带来的任务收益

    该工作提出一套路由分析工具包,在 DeepSeekMoE、OLMoE 与 Qwen3-MoE 上通过交叉源模型与合并模型的 router 输入和参数、以及 token 级与任务级配对评估,发现大多数专家重分配由输入位移而非参数变化引起,源相对路由差异对源路由恢复的下一 token 似然增益预测接近随机,不同专家选择可产生方向相似的混合输出,因此把路由失败重新定义为在固定非路由参数下、特定路由干预可恢复的任务损失,并据此提出 Selective Router Repair 作为案例研究,未发现源专家 token 似然优势能可靠识别有益的局部修正。

已读完全部报道