# 预填充/解码分离部署

DeepSeek开源了自家服务背后的推理引擎DeepInfer及其内核，SGLang随后把Mega系列内核、DSpark投机解码、SWA有界重放和两种Engram放置方式接入主线，并用DeepInfer自己的基准在同一硬件上对比。在4块GB300与4块B300上，SGLang预填充吞吐最高达到DeepInfer的1.04倍，其余测试点相差在1%以内；在64块GB300上，每GPU 16到256个请求时解码步长缩短1.1%到7.4%，8个请求时持平。SGLang还补齐了DeepInfer发布说明中列为未包含的KV缓存系统、预填充与解码分离以及跨副本负载均衡。

DeepSeek开源了自家服务背后的推理引擎DeepInfer及其内核，SGLang随后把Mega系列内核、DSpark投机解码、SWA有界重放和两种Engram放置方式接入主线，并用DeepInfer自己的基准在同一硬件上对比。在4块GB300与4块B300上，SGLang预填充吞吐最高达到DeepInfer的1.04倍，其余测试点相差在1%以内；在64块GB300上，每GPU 16到256个请求时解码步长缩短1.1%到7.4%，8个请求时持平。SGLang还补齐了DeepInfer发布说明中列为未包含的KV缓存系统、预填充与解码分离以及跨副本负载均衡。

GLM-5.3的长上下文服务在16块H200上受KV缓存显存与预填充速度双重限制。预填充端把每个提示按token切到8块GPU（PCP），再把KV缓存按token分片（DCP），使100万token请求每卡只需6.7 GiB；解码端用Hybrid HiSparse把KV放到主机内存。在AgentX基准上，PCP8×DCP8预填充配HiSparse解码在同等吞吐下给出DP8部署1.7–3.2倍的单用户速度，也是所测配置中唯一能服务100万token上下文的方案。

GLM-5.3的长上下文服务在16块H200上受KV缓存显存与预填充速度双重限制。预填充端把每个提示按token切到8块GPU（PCP），再把KV缓存按token分片（DCP），使100万token请求每卡只需6.7 GiB；解码端用Hybrid HiSparse把KV放到主机内存。在AgentX基准上，PCP8×DCP8预填充配HiSparse解码在同等吞吐下给出DP8部署1.7–3.2倍的单用户速度，也是所测配置中唯一能服务100万token上下文的方案。