跳到主要内容
检索

# DSpark

2 篇关联报道

订阅更新
  1. vLLM Blog

    vLLM 首日支持 Thinking Machines 的 Inkling 2 Small:594B 总参数、17B 激活,单用户解码约 630 tok/s

    Thinking Machines 的 Inkling 2 Small 在发布当天获得 vLLM 支持。这是一个文本与图像输入、文本输出的混合专家模型,总参数 594B、激活 17B,上下文最长 1M token,并自带 DSpark 推测解码草稿器。vLLM 通过内核融合、程序化依赖启动、序列并行和针对 6:1 GQA 比例重写的 Gluon 注意力内核完成适配,在 GB200 上 TP4 单用户解码约 630 tok/s、接受长度 3.5,并支持 LoRA 与经由 SkyRL 的强化学习。

  2. vLLM Blog

    vLLM 为 Kimi K3 训出 DSpark 草稿模型:数学推理单流交互从约110升到约435 tok/s/user

    vLLM 项目的 Speculators 训练库新增对 2.8 万亿参数 Kimi K3 的支持,训练出五层、50 亿参数的 DSpark 草稿模型,用并行块加顺序校正做投机解码。在数学推理负载上,单流交互速度从约 110 提升到约 435 tok/s/user,并发下同等交互水平时输出吞吐最高约 3.5 倍;九个评测域的宏平均接受长度为每轮验证 4.11 个 token。

已读完全部报道