跳到主要内容
检索

# NVIDIA CUDA Tile(cuTile)

1 篇关联报道

订阅更新
  1. NVIDIA Technical Blog

    Mamba-2前向计算搬进Python内核:序列越长、状态越大,比Triton实现快1.14到1.82倍

    Jane Street的机器学习工程师与NVIDIA合作,用NVIDIA CUDA Tile(cuTile)这一Python端GPU编程模型重写了Mamba-2的前向计算,并针对Blackwell张量核心做了调度与访存优化。Mamba-2兼有循环网络的固定大小隐状态和注意力式的矩阵乘法训练路径,但前向计算仍需高效内核。在单块B300上,这组内核比Triton实现快1.14到1.82倍,加速幅度随序列长度和状态规模增大而提高;这是内核级结果,端到端训练还取决于反向传播实现。

已读完全部报道