跳到主要内容
检索

# 自适应即时模式

2 篇关联报道

订阅更新
  1. Amazon Science homepage

    PyTorch代码不改就能跑上Trainium:亚马逊用841个代表模型和形状注册表做验收

    亚马逊发布开源后端TorchNeuron,把PyTorch代码翻译成可在AWS Trainium上执行的操作,已在其他加速器上运行的PyTorch代码只需极少改动甚至不改即可迁移。它新增可选的“自适应eager”模式,把算子分组成小图编译并缓存,以接近全编译的性能保留eager模式的调试体验。评估侧由AI智能体扫描Hugging Face仓库,筛出841个覆盖各类架构的代表模型,并整理出数万种张量形状用于调优与基准测试。

  2. PyTorch

    Trainium 不再要求改写模型:TorchNeuron 让 PyTorch 代码只改一行设备名就跑起来

    AWS 发布 TorchNeuron,一个面向 Trainium 芯片的原生 PyTorch 后端,模型代码、库和工具无需为 Neuron 单独适配即可运行。此前在 Trainium 上使用 Hugging Face 模型需要 Neuron 专用软件与配置,现在只需把设备指向 neuron。它基于 PyTorch 的 PrivateUse1 扩展点注册设备,支持 eager、torch.compile 与自定义 NKI 算子,覆盖 Trainium2 和 Trainium3,10 月 20 日以 Apache 2.0 公开 Beta 发布。

已读完全部报道