跳到主要内容
检索

# Trainium

2 篇关联报道

订阅更新
  1. PyTorch

    Trainium 不再要求改写模型:TorchNeuron 让 PyTorch 代码只改一行设备名就跑起来

    AWS 发布 TorchNeuron,一个面向 Trainium 芯片的原生 PyTorch 后端,模型代码、库和工具无需为 Neuron 单独适配即可运行。此前在 Trainium 上使用 Hugging Face 模型需要 Neuron 专用软件与配置,现在只需把设备指向 neuron。它基于 PyTorch 的 PrivateUse1 扩展点注册设备,支持 eager、torch.compile 与自定义 NKI 算子,覆盖 Trainium2 和 Trainium3,10 月 20 日以 Apache 2.0 公开 Beta 发布。

  2. Amazon Science homepage

    以内核为中心的路径:在 Trainium 上实现实时视频生成

    Reactor 与 Amazon Neuron Science 团队以 Rolling Forcing 自回归扩散视频模型为代理,采用以内核为中心的自底向上方法,通过 Neuron Kernel Interface 编写硬件级内核、混合序列并行与张量并行分片、以及合并扩散与缓存更新两阶段中相同组件的模型结构改写,在 Trainium 上首次端到端运行即生成正确视频,并实现高于 16 fps 的实时生成。

已读完全部报道