# 软件定义本地访问数据流架构

微软发布第三代自研推理加速器 Azure Maia 300，把软件、芯片、机架、网络与数据中心放在一起设计，目标是让每瓦和每美元产出更多可用 token。相比上一代，它把片上统一内存改为跨芯粒的局部性感知非统一内存，让软件把数据放在使用它的计算单元附近，并新增窄精度格式与硬件数据类型转换以减少每个 token 搬运的字节。系统层面，机架加速器数量翻倍到 96 颗，纵向扩展域扩大到 12288 颗的超级集群，多芯粒策略使系统计算浮点算力提升 36%，HBM 带宽增加 2.5 倍。

微软发布第三代自研推理加速器 Azure Maia 300，把软件、芯片、机架、网络与数据中心放在一起设计，目标是让每瓦和每美元产出更多可用 token。相比上一代，它把片上统一内存改为跨芯粒的局部性感知非统一内存，让软件把数据放在使用它的计算单元附近，并新增窄精度格式与硬件数据类型转换以减少每个 token 搬运的字节。系统层面，机架加速器数量翻倍到 96 颗，纵向扩展域扩大到 12288 颗的超级集群，多芯粒策略使系统计算浮点算力提升 36%，HBM 带宽增加 2.5 倍。