跳到主要内容
检索

# 原型引导语义路由

1 篇关联报道

订阅更新
  1. arXiv

    SplitMoE把视频扩散模型的专家池拆成语义与通用两路,在14B激活参数下超过同源MoE并呈现由粗到细的去噪路由

    该工作指出语言模型式的token级MoE在视频扩散中会陷入“均匀性陷阱”——语义组织不足叠加均匀专家使用正则,使同一物体的相邻patch被分散到不同专家,造成路由碎片化与结构失真;为此提出SplitMoE,把专家池拆为语义专家与通用专家,用原型引导路由和pull-push正则让token按语义属性自然聚类,在激活参数预算相同时于VBench-2.0与T2V-CompBench上优于传统负载均衡MoE,并观察到语义专家权重在早期高噪声阶段(约第10–15步)达到峰值、随后转向通用专家的由粗到细去噪规律。

已读完全部报道