# 混合专家模型负载均衡

专家并行 MoE 服务中，每层都要等负载最重的 GPU 收工，而路由每个解码步都在变。Relief 不再求解每步的线性规划，改用整数双向成对松弛，在副本边上反复折半搬运负载，几轮就逼近每步最优。在三个开源 MoE 家族的解码路由上，按相对每步最优的有效利用率计，部署的静态方案为 66% 到 72%，GPU 内核升到 93%，片上引擎升到 99.5%，最大一处比静态放置多回收 37.3 个百分点。

专家并行 MoE 服务中，每层都要等负载最重的 GPU 收工，而路由每个解码步都在变。Relief 不再求解每步的线性规划，改用整数双向成对松弛，在副本边上反复折半搬运负载，几轮就逼近每步最优。在三个开源 MoE 家族的解码路由上，按相对每步最优的有效利用率计，部署的静态方案为 66% 到 72%，GPU 内核升到 93%，片上引擎升到 99.5%，最大一处比静态放置多回收 37.3 个百分点。

混合专家（MoE）训练中的数据分布切换会打乱路由器已收敛的专家负载，而以往均衡方法只在平稳数据上评估。这项工作把负载均衡写成反馈控制：每个专家负载偏离均分份额的量是控制误差，加到路由分数上的每专家偏置是控制输入，辅助损失和ALF-LB分别对应比例项与符号积分项。只保留积分项的PID (I)在OLMoE骨干的预训练中途切换数据混合、以及OLMoE-1B-7B的持续预训练两种设置下，切换前后MaxVio都低于对比方法，困惑度相当。

混合专家（MoE）训练中的数据分布切换会打乱路由器已收敛的专家负载，而以往均衡方法只在平稳数据上评估。这项工作把负载均衡写成反馈控制：每个专家负载偏离均分份额的量是控制误差，加到路由分数上的每专家偏置是控制输入，辅助损失和ALF-LB分别对应比例项与符号积分项。只保留积分项的PID (I)在OLMoE骨干的预训练中途切换数据混合、以及OLMoE-1B-7B的持续预训练两种设置下，切换前后MaxVio都低于对比方法，困惑度相当。