# PID负载均衡器

混合专家（MoE）训练中的数据分布切换会打乱路由器已收敛的专家负载，而以往均衡方法只在平稳数据上评估。这项工作把负载均衡写成反馈控制：每个专家负载偏离均分份额的量是控制误差，加到路由分数上的每专家偏置是控制输入，辅助损失和ALF-LB分别对应比例项与符号积分项。只保留积分项的PID (I)在OLMoE骨干的预训练中途切换数据混合、以及OLMoE-1B-7B的持续预训练两种设置下，切换前后MaxVio都低于对比方法，困惑度相当。

混合专家（MoE）训练中的数据分布切换会打乱路由器已收敛的专家负载，而以往均衡方法只在平稳数据上评估。这项工作把负载均衡写成反馈控制：每个专家负载偏离均分份额的量是控制误差，加到路由分数上的每专家偏置是控制输入，辅助损失和ALF-LB分别对应比例项与符号积分项。只保留积分项的PID (I)在OLMoE骨干的预训练中途切换数据混合、以及OLMoE-1B-7B的持续预训练两种设置下，切换前后MaxVio都低于对比方法，困惑度相当。