谷歌第八代TPU一年内扩到四款:8i Max 主攻百万级上下文,8tx 做机密推理
核心概要
谷歌在第八代 TPU 中新增 TPU 8i Max 与 TPU 8tx 两套系统,前者面向超长上下文与单机架最高算力密度,后者面向安全与机密推理,这是谷歌首次在一年内推出四款 TPU 系统。此前同代已有面向大规模训练的 8t 和面向实时推理的 8i,谷歌称二者相较上一代分别带来最高 2.7 倍的训练性能和 80% 的推理性价比提升。新系统沿用模块化定制芯片加开放软件栈的思路,围绕芯片重组计算、网络与存储,以数月而非数年的节奏交付专用超级计算机。
深度剖析
谷歌把第八代 TPU 从两款扩展到四款,新增的 TPU 8i Max 针对超长上下文和单机架最高算力密度,TPU 8tx 针对安全与机密推理。 今年 4 月谷歌云 Next 上,同代只发布了面向大规模训练的 TPU 8t 和面向实时推理的 TPU 8i 两款专用芯片。 谷歌称这是其首次在一年内推出四款 TPU 系统,并把这批系统定位为回应计算从人的规模转向智能体规模后出现的新需求。
新配置不是重新流片一颗芯片,而是在既有芯片周围重新组织计算、网络与存储,包括封装方式、高速内存、光网络和安全能力。 一颗新芯片要在硅片上排布数十亿晶体管,受物理规律和长周期制造流程约束,属于多年期工程。 谷歌把 TPU 设计成 AI Hypercomputer 中的模块化积木,称这一路线让专用超级计算机的交付周期从数年缩短到数月。
第八代产品线按 AI 生命周期分工:8t 追求每瓦有效智能即 goodput,8i 作为推理引擎,目标是把芯片间通信延迟最多削减一半。 谷歌称 8i 的设计意图是打破内存墙,即芯片间数据搬运成为推理瓶颈的那道限制。 谷歌给出的同代对照是 8t 与 8i 相较上一代分别达到最高 2.7 倍训练性能和 80% 推理性价比提升。
启示与展望
报道依据的是谷歌对第八代 TPU 产品线的公开介绍,覆盖 8t、8i、8tx 与 8i Max 四套系统的定位与部分性能说法;面向的读者是关注加速器与推理基础设施的研究人员和工程师。谷歌提到与 PyTorch 相关的近期公告,目标是让 TPU 更易被开发者和云客户使用,但材料未给出新系统的实测数据或部署时间表。
2.7 倍训练性能和 80% 推理性价比提升是谷歌给出的“最高”值,且只对应 8t 与 8i,不适用于新发布的 8tx 和 8i Max;8i 把芯片间通信延迟最多削减一半同样是设计目标式的表述。材料对 8i Max 的百万级上下文和 8tx 的加密能力只作定位描述,未给出量化结果。
