501B稀疏模型发布首日即进推理引擎:编码智能体自主调优,单请求解码708词元每秒
核心概要
Reflection的Beam是一个501B参数、每词元激活23B的混合专家模型,vLLM在发布首日即提供完整支持,推理、工具调用与结构化输出开箱可用。其初始版本几乎是未优化的纯PyTorch实现,编码智能体自主剖析模型、编写内核并逐项基准测试,在TP8上把批大小为1的解码从每步8.95毫秒降到3.30毫秒,8×2K预填充从328毫秒降到176毫秒。配合DFlash2草稿头,单请求在TP8上达到708词元每秒,接受长度为3.7。
