# 弹性专家并行

大混合专家模型（MoE）推理扩容此前只有两条路：加一整份模型副本，或重启部署换成更宽的专家并行拓扑。SGLang新增的弹性专家并行扩容在运行中的部署上按需加入GPU秩，启动时按max_ep_size预留元数据与通信缓冲，加入的秩经Mooncake PG准入、NIXL承接专家数据面后提交新拓扑。在8×H100、DeepSeek-V3-Lite FP8的对比中，扩容到首个完成请求比重启快5.3至8.2倍。

大混合专家模型（MoE）推理扩容此前只有两条路：加一整份模型副本，或重启部署换成更宽的专家并行拓扑。SGLang新增的弹性专家并行扩容在运行中的部署上按需加入GPU秩，启动时按max_ep_size预留元数据与通信缓冲，加入的秩经Mooncake PG准入、NIXL承接专家数据面后提交新拓扑。在8×H100、DeepSeek-V3-Lite FP8的对比中，扩容到首个完成请求比重启快5.3至8.2倍。