谷歌云TPU首次把机密计算做进硬件,AMD第五代EPYC当宿主CPU
AMD宣布第五代EPYC处理器为谷歌云TPU 8tx提供宿主基础设施,后者是首个提供硬件强制机密计算的云TPU系统。此前谷歌云的机密计算组合覆盖机密虚拟机、机密GKE、机密空间等CPU侧工作负载,机密AI加速不在其中。TPU 8tx借助EPYC的安全加密虚拟化(SEV)把保护延伸到相连加速器,使提示词、模型权重和中间数据在CPU内存与传输中保持加密,并在加速器执行时获得硬件隔离,面向推理、微调和强化学习等企业负载。
AMD宣布第五代EPYC处理器为谷歌云TPU 8tx提供宿主基础设施,后者是首个提供硬件强制机密计算的云TPU系统。此前谷歌云的机密计算组合覆盖机密虚拟机、机密GKE、机密空间等CPU侧工作负载,机密AI加速不在其中。TPU 8tx借助EPYC的安全加密虚拟化(SEV)把保护延伸到相连加速器,使提示词、模型权重和中间数据在CPU内存与传输中保持加密,并在加速器执行时获得硬件隔离,面向推理、微调和强化学习等企业负载。
谷歌在第八代 TPU 中新增 TPU 8i Max 与 TPU 8tx 两套系统,前者面向超长上下文与单机架最高算力密度,后者面向安全与机密推理,这是谷歌首次在一年内推出四款 TPU 系统。此前同代已有面向大规模训练的 8t 和面向实时推理的 8i,谷歌称二者相较上一代分别带来最高 2.7 倍的训练性能和 80% 的推理性价比提升。新系统沿用模块化定制芯片加开放软件栈的思路,围绕芯片重组计算、网络与存储,以数月而非数年的节奏交付专用超级计算机。
AMD宣布第五代EPYC处理器为谷歌云TPU 8tx提供宿主基础设施,后者是首个提供硬件强制机密计算的云TPU系统。此前云TPU的机密计算保护并不存在,这次把CPU上的AMD安全加密虚拟化能力延伸到相连的加速器,使提示词、模型权重和中间数据在CPU内存中及主机与加速器之间保持加密,并在加速器执行时保持硬件隔离。该能力面向推理、微调和强化学习等生产负载,AMD同时称EPYC是十余家超大规模云厂商和前沿AI实验室的宿主CPU选择。
已读完全部报道