跳到主要内容
检索

# Relief负载均衡引擎

1 篇关联报道

订阅更新
  1. arXiv

    MoE 服务每步重分专家副本:Relief 用整数松弛逼近每步最优,片上引擎把有效利用率提到 99.5%

    专家并行 MoE 服务中,每层都要等负载最重的 GPU 收工,而路由每个解码步都在变。Relief 不再求解每步的线性规划,改用整数双向成对松弛,在副本边上反复折半搬运负载,几轮就逼近每步最优。在三个开源 MoE 家族的解码路由上,按相对每步最优的有效利用率计,部署的静态方案为 66% 到 72%,GPU 内核升到 93%,片上引擎升到 99.5%,最大一处比静态放置多回收 37.3 个百分点。

已读完全部报道