跳到主要内容
检索

# TileGym

2 篇关联报道

订阅更新
  1. NVIDIA Technical Blog

    Mamba-2前向计算搬进Python内核:序列越长、状态越大,比Triton实现快1.14到1.82倍

    Jane Street的机器学习工程师与NVIDIA合作,用NVIDIA CUDA Tile(cuTile)这一Python端GPU编程模型重写了Mamba-2的前向计算,并针对Blackwell张量核心做了调度与访存优化。Mamba-2兼有循环网络的固定大小隐状态和注意力式的矩阵乘法训练路径,但前向计算仍需高效内核。在单块B300上,这组内核比Triton实现快1.14到1.82倍,加速幅度随序列长度和状态规模增大而提高;这是内核级结果,端到端训练还取决于反向传播实现。

  2. NVIDIA Technical Blog

    团队用多智能体技能把24个TileGym算子从cuTile Python/Triton-TileIR移植到cuTile Rust,平均达到参考性能的99.5%

    该工作构建了一个多智能体AI技能,将cuTile Python与Triton-TileIR编写的GPU tile内核翻译为cuTile Rust,并据此把全部24个公开TileGym算子(约40个内核,覆盖逐元素运算到flash-attention decode、MLA与MoE)移植完成,在NVIDIA DGX B200上以CUPTI设备时间测得几何平均0.995,即平均达到cuTile Python性能的99.5%,且每个阶段都以可机器校验的判定和Tile IR diff把关。

已读完全部报道