Muse Spark Open 的解码速度从基线 517 tok/s 提升到 1,109 tok/s，做法是把每一层的注意力和 MoE 合成一个常驻 GPU 的内核，让权重加载、张量核心计算和跨卡通信在同一时刻重叠进行。此前 SGLang 每个解码步要依次启动约 1,450 个内核，内核之间 GPU 会排空再填充，部分 SM 和线程处于空闲。该结果在 Blackwell GPU 上以批大小为 1、配合 DFlash V2 推测解码测得，尚未扩展到更大批量。
面向订单状态这类决策任务，应用往往只需要一个类别或分数，而不是一段解释。SGLang 的 Score API 让调用方显式声明标签 token 并直接取分，多条目打分（MIS）则在一次请求内复用重复的查询计算、同时保持各候选相互隔离。在 Open-Jev 选择题负载上，候选数从 2 增到 16 时 MIS 延迟近乎持平：Qwen3-0.6B 为 18.7 ms，对照 Generate 的 39.6 ms 与 SIS 的 24.3 ms；这一优势随负载上升最明显，低负载下并不总是更快。
共享前缀缓存让命中请求的首 token 时间明显短于未命中，攻击者据此反复试探即可逐字猜出他人提示词。Mirage 不再按内容隔离缓存，而是在网关侧统计同一敏感前缀下新出现的候选分支数量，超过预算后把整条输出流整体后移，使命中看起来像一次自然的缓存未命中。在 SGLang 上对 Qwen、Llama、DeepSeek 三个模型、三种计时攻击的测试中，攻击成功率降到接近随机猜测，公开前缀的中位首 token 延迟基本不变。
SGLang 为分页 KV 缓存加入 NVFP4 存储，把每个 token 的键值数据从 FP8 再压到约 56% 的字节量。在 Qwen3.8-27B 上，32K、160K、1M 三种输入长度下保持相同解码并发，峰值批解码吞吐提升约 26% 到 30%；智能体负载并发超过 12 后，FP8 吞吐骤降而 NVFP4 继续上升。精度上两个模型的差距随任务不同，最大为 SWE-bench Verified 上的 1.60 个百分点。
Netpreme把X-Mem™内存层接入SGLang HiSparse，让解码GPU从高带宽外部内存取回未命中的KV条目，而不是走PCIe访问主机DRAM。在16K上下文、每GPU批192、20% top-k未命中率下，平均每输出token时间从167.48 ms降到84.99 ms，降幅49.25%；40%未命中率下降幅为63.58%。在20%未命中率下，16K至1M上下文的峰值解码吞吐是主机DRAM的2.09–3.04倍。
DeepSeek开源了自家服务背后的推理引擎DeepInfer及其内核，SGLang随后把Mega系列内核、DSpark投机解码、SWA有界重放和两种Engram放置方式接入主线，并用DeepInfer自己的基准在同一硬件上对比。在4块GB300与4块B300上，SGLang预填充吞吐最高达到DeepInfer的1.04倍，其余测试点相差在1%以内；在64块GB300上，每GPU 16到256个请求时解码步长缩短1.1%到7.4%，8个请求时持平。SGLang还补齐了DeepInfer发布说明中列为未包含的KV缓存系统、预填充与解码分离以及跨副本负载均衡。
SGLang在分离式预填充/解码服务中修复了一类跨请求KV缓存泄漏：请求在传输中途被中止后，已发出的RDMA写仍会落地，可能覆盖另一个请求的缓存。修复让解码端在收到各预填充rank的排空确认或超时前不释放槽位，并在v0.5.21起对Mooncake与NIXL默认开启；2×H100上吞吐差异在±2%以内。
大混合专家模型（MoE）推理扩容此前只有两条路：加一整份模型副本，或重启部署换成更宽的专家并行拓扑。SGLang新增的弹性专家并行扩容在运行中的部署上按需加入GPU秩，启动时按max_ep_size预留元数据与通信缓冲，加入的秩经Mooncake PG准入、NIXL承接专家数据面后提交新拓扑。在8×H100、DeepSeek-V3-Lite FP8的对比中，扩容到首个完成请求比重启快5.3至8.2倍。
SGLang团队与Google、Meta合作发布开源后端SGLang-TorchTPU，让同一套SGLang服务引擎在GPU和TPU上运行。此前TPU并非原生PyTorch设备，服务栈难以直接复用PyTorch生态；新后端把调度器、RadixAttention和API服务器原样保留，TPU相关工作放在下层。该后端已在Meta生产环境运行，并作为Miles强化学习流程的rollout引擎与TorchTitan配合。
Meta 发布开源权重多模态混合专家模型 Muse Spark Open，SGLang 与 Miles 在发布当天为其接上推理与强化学习训练后端。该模型文本主干 816B 参数、每 token 约 42B 激活，支持文本、图像、视频、音频输入和 1M token 上下文。在 8 块 B300 上以 NVFP4 权重跑 OpenHands 多轮智能体编码回放，并发 128 时每 GPU 总吞吐 80.3K token/s、每用户 61 token/s。