vLLM 模型代码不改一行就能跑上谷歌 TPU：新后端复用现有调度器与 KV 缓存
Inferact 与谷歌发布 vLLM TorchTPU，让 vLLM 里已有的模型定义无需改动即可在谷歌云 TPU 上提供服务。此前在 TPU 上部署模型需要另写模型代码，而这一后端沿用 vLLM 原有的命令行、OpenAI 兼容服务器、调度器和 KV 缓存管理器，TPU 相关工作放在它们之下。它通过 torch.compile 的 TPU 后端编译到 XLA，并用 JAX/Pallas 自定义算子处理注意力、混合专家和量化矩阵乘等操作。