PyTorch大会把训练与推理铺到更多芯片：TorchTPU与TorchNeuron让迁移可能只需改设备
核心概要
PyTorch基金会北美大会在圣何塞举行，会上公布多项让PyTorch在更多硬件上原生运行的工作。Google与Meta合作的TorchTPU为Google TPU提供原生后端，支持eager执行与torch.compile；面向AWS Trainium的TorchNeuron以Apache 2.0公开测试版发布，只需一次配置改动即可运行PyTorch负载。负载迁移可能只需更换设备，但要达到峰值性能可能仍需调整形状、分片与算子。
深度剖析
PyTorch生态新增两个原生硬件后端，使同一套PyTorch代码可以在Google TPU和AWS Trainium上直接运行，而不必为每种芯片另写一套实现。 此前PyTorch负载要落到这些加速器上，需要额外的适配工作；TorchTPU与TorchNeuron把这一层做成原生后端，TorchNeuron只需一次配置改动即可运行。 TorchTPU由Google与Meta合作开源，支持eager执行与torch.compile，已验证的集成覆盖TorchTitan训练、vLLM与SGLang推理以及Ray编排；TorchNeuron于10月20日在大会上以Apache 2.0发布公开测试版，支持eager执行、torch.compile以及DTensor、torch.distributed等原生API。
迁移到新芯片时，负载迁移可能只需更换设备即可运行，但要拿到峰值性能可能还要改动形状、分片和算子。 这一区分把“能跑”和“跑得快”分开：设备替换解决可运行性，性能调优仍是单独的一步。 TorchTPU的说明指出，负载迁移可能只需更换设备，而峰值性能可能需要额外修改形状、分片与操作；TorchNeuron面向Trn2与Trn3实例，覆盖从研究实验到生产部署的流程。
启示与展望
这些后端面向使用PyTorch训练与推理的研究者和工程师，覆盖Google TPU以及AWS Trainium的Trn2、Trn3实例；TorchNeuron以Apache 2.0公开测试版形式发布。
材料明确指出，迁移可能只需更换设备，但峰值性能可能需要额外修改形状、分片与操作，因此“改设备即迁移”并不等于性能自动对齐。