Kimi K3解码不再逐行手写:智能体改写的CuTe DSL路径在16块GB300上跑到842 tokens/s
Kimi K3在vLLM中的解码路径改由编码智能体协助编写CuTe DSL内核,把注意力、MoE与跨GPU通信融合成一条统一路径。在16块NVIDIA GB300、DSpark合成接受长度6的设定下,解码吞吐达到842 tokens/s,为同规格投机解码下原生vLLM的1.73倍;无投机解码时,TP16在批16至64上保持1.62至1.71倍增益。配套的快速通道流程要求隔离改动、限定硬件与负载范围,并用内核测试与模型评测共同验证正确性。