跳到主要内容
检索

# MPS 后端

1 篇关联报道

订阅更新
  1. Hugging Face - Blog

    Mac上的PyTorch 2.15:MoE解码快5–6.5倍,视频VAE显存从270 GiB降到8 GiB

    PyTorch 2.15把FP8张量、原生分组矩阵乘法和一批专用Metal内核带进Mac的MPS后端,让本地大模型解码和视频生成更省时省内存。此前MPS上不少算子走MPSGraph,MoE解码要先把分组偏移拷回CPU再逐组循环,分块视频VAE解码的驱动内存峰值可达270 GiB。在M3 Ultra上,Qwen3.6-35B-A3B的解码从9.4升到61.3 tokens/s,Wan2.2的VAE解码内存峰值降到约8 GiB。

已读完全部报道