跳到主要内容
检索

# Inkling 2 Small 模型

1 篇关联报道

订阅更新
  1. vLLM Blog

    vLLM 首日支持 Thinking Machines 的 Inkling 2 Small:594B 总参数、17B 激活,单用户解码约 630 tok/s

    Thinking Machines 的 Inkling 2 Small 在发布当天获得 vLLM 支持。这是一个文本与图像输入、文本输出的混合专家模型,总参数 594B、激活 17B,上下文最长 1M token,并自带 DSpark 推测解码草稿器。vLLM 通过内核融合、程序化依赖启动、序列并行和针对 6:1 GQA 比例重写的 Gluon 注意力内核完成适配,在 GB200 上 TP4 单用户解码约 630 tok/s、接受长度 3.5,并支持 LoRA 与经由 SkyRL 的强化学习。

已读完全部报道