DeepSeek开源DeepInfer后，SGLang用同一套基准追平或反超，预填充吞吐最高1.04倍
核心概要
DeepSeek开源了自家服务背后的推理引擎DeepInfer及其内核，SGLang随后把Mega系列内核、DSpark投机解码、SWA有界重放和两种Engram放置方式接入主线，并用DeepInfer自己的基准在同一硬件上对比。在4块GB300与4块B300上，SGLang预填充吞吐最高达到DeepInfer的1.04倍，其余测试点相差在1%以内；在64块GB300上，每GPU 16到256个请求时解码步长缩短1.1%到7.4%，8个请求时持平。SGLang还补齐了DeepInfer发布说明中列为未包含的KV缓存系统、预填充与解码分离以及跨副本负载均衡。
深度剖析
SGLang现在能直接运行DeepSeek为DeepInfer准备的那套推理优化，包括Mega系列内核、DSpark投机解码、SWA有界重放和两种Engram表放置方式。 DeepInfer是DeepSeek自家服务所用的推理引擎，其发布说明把KV缓存系统、预填充与解码分离、跨副本负载均衡列为未包含的组件。 对比使用DeepInfer自己的预填充与解码基准、相同硬件和相同权重，SGLang在4块GB300与4块B300上预填充吞吐最高为DeepInfer的1.04倍，在64块GB300上解码步长缩短1.1%到7.4%。
速度来自减少中间显存搬运和内核启动次数，而不是换一套模型。 Mega-mHC的输出直接送入MegaMoE，注意力以MXFP8输出供输出投影使用，预填充压缩器和请求窗口KV拷贝改用融合内核。 可中断的CUDA图覆盖每GPU最多8K token的预填充步，解码重放则用按有界后缀单独定尺寸的图，使这些层在大预填充步其余部分以即时模式执行时仍能重放。
SGLang作为完整服务系统提供DeepInfer发布中未包含的三项组件。 统一基数树缓存跨请求和对话轮次复用KV，Linker把L1 GPU缓存接到3FS或Mooncake等共享L3存储，HiCache另支持主机内存L2层。 预填充与解码分置不同服务器，KV传输可选Mooncake、NIXL或MORI；模型网关在副本间分发请求并支持按已缓存前缀路由，服务覆盖GB300、B300、B200、H200与MI355X。
启示与展望
对比范围限于DeepSeek-V4.1-Flash在4块GB300、4块B300上的预填充和64块GB300上的解码，且使用DeepInfer自己的基准与相同权重；文中给出的设置如均衡专家路由仅用于这次比较，实际部署需按cookbook页面配置。
两套引擎的测量口径并不相同：DeepInfer测GPU 0上约9个批次的预填充耗时，SGLang取20%到90%请求完成之间每个GPU上每个完整批次的平均；解码对比中SGLang把Engram表放在设备内存而DeepInfer放在主机内存，DeepInfer的草稿模型带64个冗余专家而SGLang的没有。