Azure Maia 300把每瓦有效token当目标：机架翻倍到96颗，系统算力提升36%
核心概要
微软发布第三代自研推理加速器 Azure Maia 300，把软件、芯片、机架、网络与数据中心放在一起设计，目标是让每瓦和每美元产出更多可用 token。相比上一代，它把片上统一内存改为跨芯粒的局部性感知非统一内存，让软件把数据放在使用它的计算单元附近，并新增窄精度格式与硬件数据类型转换以减少每个 token 搬运的字节。系统层面，机架加速器数量翻倍到 96 颗，纵向扩展域扩大到 12288 颗的超级集群，多芯粒策略使系统计算浮点算力提升 36%，HBM 带宽增加 2.5 倍。
深度剖析
Azure Maia 300 面向云规模智能体推理，把整机系统而非单颗芯片当作设计对象，软件、硅片、机架、网络和数据中心协同设计以提升每瓦与每美元的有效 token 产出。 此前的 Maia 200 引入软件定义局部访问数据流架构 SDLA，把控制路径编程与数据路径执行分开；Maia 300 在此基础上针对长上下文、推理密集和解码为主的负载继续演进。 微软给出的对照是：多芯粒方案把计算放在 TSMC N2P 上，系统计算浮点算力提升 36%，HBM 带宽增加 2.5 倍，纵向扩展带宽增加 14%。
数据放置从片上统一内存改为跨芯粒的局部性感知非统一内存，软件可以把数据放在使用它的计算单元附近，从而减少搬运。 上一代 SoC 采用统一内存访问组织，数据位置对软件不透明；新组织让局部性成为可编程的对象。 配套改动包括新增窄精度格式与硬件加速的数据类型转换，降低每个 token 搬运的字节数，并让同一功耗包络内支持更大模型、更长上下文和更多并发会话。
机架规模翻倍，纵向扩展域扩大，使更多加速器能作为一个系统协同工作。 此前机架规模与扩展域较小，难以把大量加速器当作单一系统使用。 机架从上一代规模翻倍到 96 颗加速器，纵向扩展域扩大到 12288 颗加速器的超级集群。
启示与展望
这则报道依据的是微软 Azure 博客的摘要，覆盖 Maia 300 的架构方向、内存组织、精度格式与机架规模，未涉及具体基准测试、时延数字或与其它加速器的横向对比。适合关注推理基础设施与加速器架构的研究人员和工程师阅读。
材料给出的是架构层面的提升比例与规模数字，未说明这些改动在真实智能体负载下的时延或吞吐表现，也未给出与其它推理平台的对照。