亚马逊发布开源后端TorchNeuron，把PyTorch代码翻译成可在AWS Trainium上执行的操作，已在其他加速器上运行的PyTorch代码只需极少改动甚至不改即可迁移。它新增可选的“自适应eager”模式，把算子分组成小图编译并缓存，以接近全编译的性能保留eager模式的调试体验。评估侧由AI智能体扫描Hugging Face仓库，筛出841个覆盖各类架构的代表模型，并整理出数万种张量形状用于调优与基准测试。
TorchNeuron在标准PyTorch的eager与编译两种执行模式之外，加入一个可选的“自适应eager”模式。 eager模式按程序顺序立即执行算子，便于调试；编译模式效率高，但要先付出编译时间。 该模式在CPU上的Python解释器累积算子调度指令并构建小图，交由TorchNeuron编译、缓存和排队执行，多组图的收集与编译并行进行。
自适应算法按图与张量规模动态选择子图，让编译时间与已编译片段的执行重叠。 图越大、张量越大，编译越久，因此需要挑选合适的子图来隐藏编译开销。 亚马逊称，这种重叠可为多种模型有效隐藏全部编译时间，同时保留算子与源码行的对应关系。
编译产物NEFF被多级缓存，并在多加速器之间共享编译服务。 把算子转换成NEFF开销很大，而分片到多台服务器的同一模型各加速器需要相同的NEFF。 在一个跨加速器分布的大语言模型测试中，这些优化把首次训练步的时间缩短了约三分之一。
报道范围限于亚马逊对TorchNeuron的发布说明：它作为开源后端把PyTorch代码翻译为Trainium可执行操作，并配有自适应eager模式、多级NEFF缓存与共享编译服务；文中给出的量化结果只有跨加速器大语言模型测试中首次训练步时间缩短约三分之一。
亚马逊称自适应eager可“接近”全编译性能，并为多种模型隐藏编译时间，措辞是接近而非等同；首次训练步缩短约三分之一只来自一个跨加速器的大语言模型测试，未说明其他模型规模下的表现。
