推理引擎把控制面与执行面拆开：C++状态机管KV缓存，Python层留给研究者
核心概要
TokenSpeed 是一个面向智能体负载的开源大模型推理引擎，由非营利的 LightSeek 基金会支持，目标是在生产级智能体负载上达到 TensorRT-LLM 级别的性能，同时保留 vLLM 级别的易用性。它把调度控制面与执行面分开：控制面用 C++ 写成有限状态机，把请求生命周期与 KV 缓存状态的安全复用交给类型系统在编译期约束；执行面用 Python，便于研究者与工程师快速迭代。内核被当作独立模块，通过可移植的公共 API、集中注册表和插件机制与核心引擎解耦，官方称其中包含面向智能体负载、在 Blackwell 上最快的 MLA 实现之一。
深度剖析
大模型推理引擎的调度控制面与执行面被拆成两层，控制面用 C++ 有限状态机描述请求生命周期和 KV 缓存归属，执行面留在 Python。 此前的推理引擎把控制与执行混在一起，资源安全依赖运行期检查，研究者改动调度逻辑要面对底层实现。 PyTorch 基金会在把 TokenSpeed 纳入 PyTorch 生态版图时，把“首个把控制面与执行面分离”列为它的架构差异点。
KV 缓存这类共享资源的安全复用由类型系统在编译期强制，而不是等到运行期再查。 运行期检查意味着错误只能在请求跑起来之后暴露，编译期约束把这类错误提前到构建阶段。 请求生命周期、KV 缓存归属与重叠时序被编码成有限状态机，安全复用由编译期类型系统保证。
内核从核心引擎里独立出来，成为可插拔的分层子系统，通过公共 API、集中注册表和插件机制接入异构加速器。 内核与引擎耦合时，换硬件或换实现要动核心代码；公共 API 加注册表把选择与实现分开。 官方称该内核体系中包含面向智能体负载、在 Blackwell 上最快的 MLA 实现之一。
引擎由非营利的 LightSeek 基金会而非商业公司支持，NVIDIA 与 AMD 等厂商提供硬件与工程支持。 商业公司主导的引擎在路线选择上受自身利益约束，非营利背景被官方描述为中立性来源。 官方把这一中立定位表述为开源推理引擎中的“瑞士”，并列出 NVIDIA 与 AMD 的支持。
启示与展望
这则报道面向做推理服务与智能体系统的研究者与工程师，描述的是引擎的架构分层、内核组织方式与生态定位。公开材料给出的性能表述集中在面向智能体负载的场景，并列出在 NVIDIA GB300 上服务 Qwen3.8-Flash-Next 时每用户 685 tokens/s、以及在 Qwen3.5-397B-A17B 上达到 580 TPS 等条目。材料同时给出与 TensorRT-LLM 在智能体负载上的 Pareto 曲线对照，涉及 Kimi K2.5 与 B200。
材料以摘要形式呈现，架构描述与性能条目来自官方发布与厂商博客，未给出可复核的实验设置细节。性能表述限定在智能体负载与所列硬件、模型组合上，尚未说明在其他负载类型或加速器上的表现。控制面与执行面分离带来的跨语言调用开销，材料未给出量化说明。