跳到主要内容
返回时间线

谷歌云TPU首次把机密计算做进硬件,AMD第五代EPYC当宿主CPU

核心概要

AMD宣布第五代EPYC处理器为谷歌云TPU 8tx提供宿主基础设施,后者是首个提供硬件强制机密计算的云TPU系统。此前云TPU的机密计算保护并不存在,这次把CPU上的AMD安全加密虚拟化能力延伸到相连的加速器,使提示词、模型权重和中间数据在CPU内存中及主机与加速器之间保持加密,并在加速器执行时保持硬件隔离。该能力面向推理、微调和强化学习等生产负载,AMD同时称EPYC是十余家超大规模云厂商和前沿AI实验室的宿主CPU选择。

Source-provided article image: AMD EPYC Expands Its Leadership at the Foundation of AI
AMD Newsroom

深度剖析

谷歌云的TPU 8tx成为首个提供硬件强制机密计算的云TPU系统,其宿主CPU由AMD第五代EPYC处理器担任。 此前云TPU系统不具备这一硬件强制的机密计算能力,谷歌云与AMD把这项保护第一次带到云TPU上。 两家公司把第五代EPYC与谷歌云第八代TPU架构组合在AI Hypercomputer中,以此实现该能力。

系统把机密计算保护从CPU扩展到相连的TPU加速器,敏感数据在主机与加速器之间移动时仍受保护。 AMD安全加密虚拟化(SEV)原本保护CPU侧的工作负载,这次与TPU配合把保护范围延伸到加速器。 在授予加速器直接访问受保护内存之前,系统先核验加速器身份与安全配置,使提示词、模型权重和中间数据在CPU内存中及传输途中保持加密,并在加速器执行期间保持硬件隔离。

这套宿主CPU承担负载编排、数据准备以及与TPU加速器的高吞吐通信。 加速器依赖宿主处理器供数、调度工作并连接周边应用与服务,CPU选择因此仍处于系统性能与部署的中心。 AMD称EPYC是十余家领先超大规模云厂商和前沿AI实验室的宿主CPU选择,覆盖GPU与定制AI加速器ASIC。

启示与展望

报道范围限于AMD与谷歌云公布的合作内容:第五代EPYC为TPU 8tx提供宿主基础设施,以及SEV与TPU配合把机密计算保护延伸到加速器;面向在云上运行推理、微调和强化学习负载的企业读者。

AMD说明Infinity Guard特性因EPYC处理器代际和系列而异,且需由服务器OEM或云服务商启用后才能生效,用户需向提供商确认支持情况;公告未给出机密计算的开销或性能数据。