# Pallas内核

Inferact 与谷歌发布 vLLM TorchTPU，让 vLLM 里已有的模型定义无需改动即可在谷歌云 TPU 上提供服务。此前在 TPU 上部署模型需要另写模型代码，而这一后端沿用 vLLM 原有的命令行、OpenAI 兼容服务器、调度器和 KV 缓存管理器，TPU 相关工作放在它们之下。它通过 torch.compile 的 TPU 后端编译到 XLA，并用 JAX/Pallas 自定义算子处理注意力、混合专家和量化矩阵乘等操作。

Inferact 与谷歌发布 vLLM TorchTPU，让 vLLM 里已有的模型定义无需改动即可在谷歌云 TPU 上提供服务。此前在 TPU 上部署模型需要另写模型代码，而这一后端沿用 vLLM 原有的命令行、OpenAI 兼容服务器、调度器和 KV 缓存管理器，TPU 相关工作放在它们之下。它通过 torch.compile 的 TPU 后端编译到 XLA，并用 JAX/Pallas 自定义算子处理注意力、混合专家和量化矩阵乘等操作。

SGLang团队与Google、Meta合作发布开源后端SGLang-TorchTPU，让同一套SGLang服务引擎在GPU和TPU上运行。此前TPU并非原生PyTorch设备，服务栈难以直接复用PyTorch生态；新后端把调度器、RadixAttention和API服务器原样保留，TPU相关工作放在下层。该后端已在Meta生产环境运行，并作为Miles强化学习流程的rollout引擎与TorchTitan配合。

SGLang团队与Google、Meta合作发布开源后端SGLang-TorchTPU，让同一套SGLang服务引擎在GPU和TPU上运行。此前TPU并非原生PyTorch设备，服务栈难以直接复用PyTorch生态；新后端把调度器、RadixAttention和API服务器原样保留，TPU相关工作放在下层。该后端已在Meta生产环境运行，并作为Miles强化学习流程的rollout引擎与TorchTitan配合。