跳到主要内容
检索

# 弹性专家并行

1 篇关联报道

订阅更新
  1. vLLM Blog

    扩缩容不再停服百秒:vLLM弹性专家并行把中断压到0.82秒,DeepSeek V4 Pro照常出词

    在vLLM的弹性专家并行中,扩缩容过去要暂停服务,DeepSeek V4 Pro从16块扩到20块GB200时中断99.62秒。新方案把重配置拆成后台准备与短暂提交,并让NIXL EP原地增删通信成员、保留已捕获的CUDA图,使同一基准下扩容中断降到0.82秒、缩容降到1.96秒。

已读完全部报道