TokenSpeed 是一个面向智能体负载的开源大模型推理引擎，由非营利的 LightSeek 基金会支持，目标是在生产级智能体负载上达到 TensorRT-LLM 级别的性能，同时保留 vLLM 级别的易用性。它把调度控制面与执行面分开：控制面用 C++ 写成有限状态机，把请求生命周期与 KV 缓存状态的安全复用交给类型系统在编译期约束；执行面用 Python，便于研究者与工程师快速迭代。内核被当作独立模块，通过可移植的公共 API、集中注册表和插件机制与核心引擎解耦，官方称其中包含面向智能体负载、在 Blackwell 上最快的 MLA 实现之一。
TokenSpeed 是一个面向智能体负载的开源大模型推理引擎，由非营利的 LightSeek 基金会支持，目标是在生产级智能体负载上达到 TensorRT-LLM 级别的性能，同时保留 vLLM 级别的易用性。它把调度控制面与执行面分开：控制面用 C++ 写成有限状态机，把请求生命周期与 KV 缓存状态的安全复用交给类型系统在编译期约束；执行面用 Python，便于研究者与工程师快速迭代。内核被当作独立模块，通过可移植的公共 API、集中注册表和插件机制与核心引擎解耦，官方称其中包含面向智能体负载、在 Blackwell 上最快的 MLA 实现之一。