# TokenSpeed推理引擎

TokenSpeed 发布了一个面向智能体负载的开源 LLM 推理引擎，它把控制面与执行面分开：控制面用 C++ 写成有限状态机，靠类型系统在编译期约束请求生命周期与 KV 缓存状态，执行面留在 Python 以便快速迭代。此前推理引擎通常把调度与执行耦合在一起，资源安全多在运行时检查。该引擎宣称达到 TensorRT-LLM 级性能与 vLLM 级易用性，并给出在 NVIDIA GB300 上服务 Qwen3.8-Flash-Next 时每用户 685 tokens/s 的数值。

TokenSpeed 发布了一个面向智能体负载的开源 LLM 推理引擎，它把控制面与执行面分开：控制面用 C++ 写成有限状态机，靠类型系统在编译期约束请求生命周期与 KV 缓存状态，执行面留在 Python 以便快速迭代。此前推理引擎通常把调度与执行耦合在一起，资源安全多在运行时检查。该引擎宣称达到 TensorRT-LLM 级性能与 vLLM 级易用性，并给出在 NVIDIA GB300 上服务 Qwen3.8-Flash-Next 时每用户 685 tokens/s 的数值。

TokenSpeed 是一个面向智能体负载的开源大模型推理引擎，由非营利的 LightSeek 基金会支持，目标是在生产级智能体负载上达到 TensorRT-LLM 级别的性能，同时保留 vLLM 级别的易用性。它把调度控制面与执行面分开：控制面用 C++ 写成有限状态机，把请求生命周期与 KV 缓存状态的安全复用交给类型系统在编译期约束；执行面用 Python，便于研究者与工程师快速迭代。内核被当作独立模块，通过可移植的公共 API、集中注册表和插件机制与核心引擎解耦，官方称其中包含面向智能体负载、在 Blackwell 上最快的 MLA 实现之一。

TokenSpeed 是一个面向智能体负载的开源大模型推理引擎，由非营利的 LightSeek 基金会支持，目标是在生产级智能体负载上达到 TensorRT-LLM 级别的性能，同时保留 vLLM 级别的易用性。它把调度控制面与执行面分开：控制面用 C++ 写成有限状态机，把请求生命周期与 KV 缓存状态的安全复用交给类型系统在编译期约束；执行面用 Python，便于研究者与工程师快速迭代。内核被当作独立模块，通过可移植的公共 API、集中注册表和插件机制与核心引擎解耦，官方称其中包含面向智能体负载、在 Blackwell 上最快的 MLA 实现之一。