跳到主要内容
检索

# PyTorch 2.15 发布

2 篇关联报道

订阅更新
  1. PyTorch

    PyTorch 2.15把重写的NCCL后端设为默认:集合通信卡住时,每个rank自动落盘现场

    PyTorch 2.15把2.14中作为可选nccl2预览的重写NCCL后端设为所有nccl进程组的默认,并保留TORCH_DIST_USE_NCCL2=0与nccl-legacy两条回退路径。此前集群规模下单个GPU停滞就可能拖停整个训练,定位原因往往要靠手工复现;新版本加入与后端无关的飞行记录器,集合通信挂起时向磁盘写出事后现场,任一rank超时都会触发所有rank转储。

  2. Hugging Face - Blog

    Mac上的PyTorch 2.15:MoE解码快5–6.5倍,视频VAE显存从270 GiB降到8 GiB

    PyTorch 2.15把FP8张量、原生分组矩阵乘法和一批专用Metal内核带进Mac的MPS后端,让本地大模型解码和视频生成更省时省内存。此前MPS上不少算子走MPSGraph,MoE解码要先把分组偏移拷回CPU再逐组循环,分块视频VAE解码的驱动内存峰值可达270 GiB。在M3 Ultra上,Qwen3.6-35B-A3B的解码从9.4升到61.3 tokens/s,Wan2.2的VAE解码内存峰值降到约8 GiB。

已读完全部报道