DeepSeek开源DeepInfer后，SGLang用同一套基准追平或反超，预填充吞吐最高1.04倍
DeepSeek开源了自家服务背后的推理引擎DeepInfer及其内核，SGLang随后把Mega系列内核、DSpark投机解码、SWA有界重放和两种Engram放置方式接入主线，并用DeepInfer自己的基准在同一硬件上对比。在4块GB300与4块B300上，SGLang预填充吞吐最高达到DeepInfer的1.04倍，其余测试点相差在1%以内；在64块GB300上，每GPU 16到256个请求时解码步长缩短1.1%到7.4%，8个请求时持平。SGLang还补齐了DeepInfer发布说明中列为未包含的KV缓存系统、预填充与解码分离以及跨副本负载均衡。