501B稀疏大模型跑进生产API：SGLang原生接入Beam，单卡吞吐12.76万token/秒
核心概要
Reflection的Beam是一个501B参数、每token激活23B的混合专家模型，面向软件工程与长程智能体任务，计划以Apache 2.0发布。SGLang现已原生支持Beam并承载其生产API，通过BF16、NVFP4与动态FP8检查点、DFlash2投机解码和前缀缓存把推理效率转化为服务性能。在4块NVIDIA GB300、NVFP4检查点的OpenHands多轮智能体编码回放上，并发32时单卡总吞吐达127.6K token/秒，每用户p50为185.87 token/秒。
深度剖析
Beam这类混合注意力模型现在有了原生服务路径，开发者可以在既有运行时和编码工具链上直接部署它。 此前SGLang并不支持Beam，其生产API缺少对应的服务栈。 SGLang已原生支持Beam并承载Reflection的生产API，同时提供BF16、ModelOpt NVFP4与compressed-tensors动态FP8三种检查点支持。
服务栈要同时管理两种KV生命周期，因为Beam的完整注意力层保留全部历史，滑动窗口层只保留最近窗口。 单一注意力类型的模型只需维护一种KV缓存布局。 Beam采用分组查询注意力，48个查询头共享8个KV头，滑动窗口为512 token，上下文上限为1,048,576 token。
吞吐提升来自内核层面的融合与调度，而不只是模型本身的稀疏结构。 未融合时，归一化与残差路径要反复写回、读取中间结果。 投影打包、注意力与残差边界融合、面向FP32路由器的专用BF16x3 GEMM以及GB300 MoE调优共同支撑了所报告的性能。
在真实多轮编码负载上，缓存复用把长前缀的开销摊薄。 每轮对话都要重新处理约74K token的首轮提示。 OpenHands回放中每段对话13轮、每轮输出约220 token，后续轮次复用前缀，聚合缓存命中率约92%。
启示与展望
报道覆盖的是Beam在SGLang上的集成、优化与性能测量，面向需要部署长上下文智能体模型的推理工程师。性能数字来自4块NVIDIA GB300、TP4、NVFP4检查点的OpenHands多轮编码回放，并发扫描为1、4、8、16、32。AgentX回放另在并发96时给出83,504 token/秒/卡与43.9 token/秒/用户，单会话为348.0 token/秒/用户。
OpenHands测量使用8 token的DFlash2块，接受长度按4模拟固定并配真实草稿token，因此不代表自然草稿接受率，也不测量模型准确率。MegaMoE的NVFP4专家并行路径要求同时启用flashinfer_megamoe运行器与all-to-all后端，BF16与动态FP8不在该扩展内。TPU支持与SGLang-TorchTPU配方尚未发布。