跳到主要内容
检索

# 预填充上下文并行

1 篇关联报道

订阅更新
  1. vLLM Blog

    百万token上下文挤进16块H200:GLM-5.3把KV缓存按token切开,单用户速度提至3.2倍

    GLM-5.3的长上下文服务在16块H200上受KV缓存显存与预填充速度双重限制。预填充端把每个提示按token切到8块GPU(PCP),再把KV缓存按token分片(DCP),使100万token请求每卡只需6.7 GiB;解码端用Hybrid HiSparse把KV放到主机内存。在AgentX基准上,PCP8×DCP8预填充配HiSparse解码在同等吞吐下给出DP8部署1.7–3.2倍的单用户速度,也是所测配置中唯一能服务100万token上下文的方案。

已读完全部报道