跳到主要内容
检索

PyTorch

5 篇关联报道

订阅更新
  1. PyTorch

    PyTorch大会把训练与推理铺到更多芯片:TorchTPU与TorchNeuron让迁移可能只需改设备

    PyTorch基金会北美大会在圣何塞举行,会上公布多项让PyTorch在更多硬件上原生运行的工作。Google与Meta合作的TorchTPU为Google TPU提供原生后端,支持eager执行与torch.compile;面向AWS Trainium的TorchNeuron以Apache 2.0公开测试版发布,只需一次配置改动即可运行PyTorch负载。负载迁移可能只需更换设备,但要达到峰值性能可能仍需调整形状、分片与算子。

  2. PyTorch

    PyTorch模型不必转格式就能在浏览器GPU上跑:同一份.pte文件,解码比CPU路径快2–10倍

    ExecuTorch新增WebGPU后端,让PyTorch模型经torch.export导出为一份.pte文件后,直接在支持WebGPU的浏览器里用GPU推理,无需先转成GGUF、ONNX或TFLite等其它框架格式。此前在浏览器跑PyTorch模型通常要先做这种格式转换。在Apple M1 Pro的Chrome上,以4比特量化的Llama 3.2 1B和Qwen3-0.6B对比ExecuTorch自身的Wasm CPU后端(XNNPACK),预填充快4–7倍、解码快2–10倍。

  3. PyTorch

    PyTorch 2.15把重写的NCCL后端设为默认:集合通信卡住时,每个rank自动落盘现场

    PyTorch 2.15把2.14中作为可选nccl2预览的重写NCCL后端设为所有nccl进程组的默认,并保留TORCH_DIST_USE_NCCL2=0与nccl-legacy两条回退路径。此前集群规模下单个GPU停滞就可能拖停整个训练,定位原因往往要靠手工复现;新版本加入与后端无关的飞行记录器,集合通信挂起时向磁盘写出事后现场,任一rank超时都会触发所有rank转储。

  4. PyTorch

    AMD GPU 上的 PyTorch 多了一条后端:FlyDSL 让算子按硬件显式排布,vLLM 整请求最高 3.01 倍

    AMD MI350 系列 GPU 上的 PyTorch 用户现在可以通过既有算子接口调用 FlyDSL 内核,覆盖稠密与分组 GEMM、MXFP8/MXFP4 缩放 GEMM、RMSNorm、TopK 以及经 AOTriton 的注意力。此前这些算子只能走 ATen 或 Triton 等实现;在 MI355X 的算子级测试中,FlyDSL 对 15 个 BF16 稠密 GEMM 形状相对逐形状更快的 ATen/Triton 取得 1.10 倍几何平均加速,MXFP8 与 MXFP4 相对 ATen 分别为 1.58 倍和 1.68 倍。端到端 vLLM 测试中整请求加速最高为 BF16 的 1.13 倍、MXFP8 的 2.04 倍和 MXFP4 的 3.01 倍,具体取决于模型与并发度。

  5. PyTorch

    TorchTitan把强化学习收进同一份模型:训练与vLLM推理不再各存一份权重

    TorchTitan发布年度更新,新增Muse Spark Open、Qwen3.5、Kimi K3、DeepSeek-V4等开放权重模型的PyTorch原生训练支持,并推出TitanRL,让预训练、后训练与vLLM推理共用同一份模型,避免训练与推理两套实现悄然不一致。在支持的on-policy配置下,训练器与生成器给出逐位相同的对数概率,二者差距每一步恰为零。更新还报告了DeepSeek V3 671B在MLPerf训练基准上的吞吐数据,以及FlexShard、torch_checkpointing等基础设施改进。

已读完全部报道