跳到主要内容
检索

# megakernel

2 篇关联报道

订阅更新
  1. LMSYS Org

    Muse Spark Open 解码跨过每秒千词:把每层压成一个常驻内核,517 升到 1,109 tok/s

    Muse Spark Open 的解码速度从基线 517 tok/s 提升到 1,109 tok/s,做法是把每一层的注意力和 MoE 合成一个常驻 GPU 的内核,让权重加载、张量核心计算和跨卡通信在同一时刻重叠进行。此前 SGLang 每个解码步要依次启动约 1,450 个内核,内核之间 GPU 会排空再填充,部分 SM 和线程处于空闲。该结果在 Blackwell GPU 上以批大小为 1、配合 DFlash V2 推测解码测得,尚未扩展到更大批量。

  2. PyTorch

    Meta 的 816B 稀疏模型搬上单台四芯片 TPU:整步合成一个内核,单请求每 token 快 1.94 倍

    Meta 的开源混合专家模型 Muse Spark Open 总参数 816B、每 token 约激活 42B,此前在 TPU v7 上服务时,一次验证步的耗时是单纯从 HBM 流式读取权重所需时间的 2.9 倍。SGLang-TorchTPU 把一次解码或验证步的全部 62 层写成一个 Pallas 程序,让权重、KV 与跨设备传输都排在计算之前发出。单请求下每输出 token 从 3.78 ms 降到 1.95 ms,两个并发请求时为 1.85 倍,并发继续增大时收益收窄。

已读完全部报道