长上下文请求中断后，别人的KV缓存可能写进你的输出：SGLang改为延迟释放槽位
SGLang在分离式预填充/解码服务中修复了一类跨请求KV缓存泄漏：请求在传输中途被中止后，已发出的RDMA写仍会落地，可能覆盖另一个请求的缓存。修复让解码端在收到各预填充rank的排空确认或超时前不释放槽位，并在v0.5.21起对Mooncake与NIXL默认开启；2×H100上吞吐差异在±2%以内。
vLLM 模型代码不改一行就能跑上谷歌 TPU：新后端复用现有调度器与 KV 缓存
Inferact 与谷歌发布 vLLM TorchTPU，让 vLLM 里已有的模型定义无需改动即可在谷歌云 TPU 上提供服务。此前在 TPU 上部署模型需要另写模型代码，而这一后端沿用 vLLM 原有的命令行、OpenAI 兼容服务器、调度器和 KV 缓存管理器，TPU 相关工作放在它们之下。它通过 torch.compile 的 TPU 后端编译到 XLA，并用 JAX/Pallas 自定义算子处理注意力、混合专家和量化矩阵乘等操作。
已读完全部报道