跳到主要内容
检索

# CuTe DSL内核

1 篇关联报道

订阅更新
  1. vLLM Blog

    Kimi K3解码不再逐行手写:智能体改写的CuTe DSL路径在16块GB300上跑到842 tokens/s

    Kimi K3在vLLM中的解码路径改由编码智能体协助编写CuTe DSL内核,把注意力、MoE与跨GPU通信融合成一条统一路径。在16块NVIDIA GB300、DSpark合成接受长度6的设定下,解码吞吐达到842 tokens/s,为同规格投机解码下原生vLLM的1.73倍;无投机解码时,TP16在批16至64上保持1.62至1.71倍增益。配套的快速通道流程要求隔离改动、限定硬件与负载范围,并用内核测试与模型评测共同验证正确性。

已读完全部报道