# NIXL专家并行通信库

大混合专家模型（MoE）推理扩容此前只有两条路：加一整份模型副本，或重启部署换成更宽的专家并行拓扑。SGLang新增的弹性专家并行扩容在运行中的部署上按需加入GPU秩，启动时按max_ep_size预留元数据与通信缓冲，加入的秩经Mooncake PG准入、NIXL承接专家数据面后提交新拓扑。在8×H100、DeepSeek-V3-Lite FP8的对比中，扩容到首个完成请求比重启快5.3至8.2倍。

大混合专家模型（MoE）推理扩容此前只有两条路：加一整份模型副本，或重启部署换成更宽的专家并行拓扑。SGLang新增的弹性专家并行扩容在运行中的部署上按需加入GPU秩，启动时按max_ep_size预留元数据与通信缓冲，加入的秩经Mooncake PG准入、NIXL承接专家数据面后提交新拓扑。在8×H100、DeepSeek-V3-Lite FP8的对比中，扩容到首个完成请求比重启快5.3至8.2倍。

在vLLM的弹性专家并行中，扩缩容过去要暂停服务，DeepSeek V4 Pro从16块扩到20块GB200时中断99.62秒。新方案把重配置拆成后台准备与短暂提交，并让NIXL EP原地增删通信成员、保留已捕获的CUDA图，使同一基准下扩容中断降到0.82秒、缩容降到1.96秒。

在vLLM的弹性专家并行中，扩缩容过去要暂停服务，DeepSeek V4 Pro从16块扩到20块GB200时中断99.62秒。新方案把重配置拆成后台准备与短暂提交，并让NIXL EP原地增删通信成员、保留已捕获的CUDA图，使同一基准下扩容中断降到0.82秒、缩容降到1.96秒。