跳到主要内容
返回时间线
NVIDIA Blog来源发表:

英伟达Vera单颗CPU兼顾智能体速度与密度:每瓦智能体数比最快x86多1.6倍

核心概要

英伟达推出面向AI智能体的Vera CPU,试图用一颗芯片同时满足智能体执行步骤要快、并发数量要多这两项要求。此前AI工厂需要在最快的x86处理器与最省电的x86处理器之间取舍,以平衡速度与容量。英伟达在100兆瓦数据中心对比中称,Vera相对最快的x86 CPU每瓦可多承载1.6倍智能体,相对最省电的x86 CPU智能体速度达2倍;Perplexity、DeepInfra等早期采用者在生产式测试中报告了加速,但Perplexity的部署尚在计划中。

Source-provided article image: Vera Delivers the Best of Both Worlds: Highest Throughput and Fastest Agents
NVIDIA Research

深度剖析

英伟达把智能体工作负载的速度与并发容量放到同一颗CPU上,让AI基础设施提供商不必再为不同智能体任务混搭快型与密集型x86部件。 此前运营商要在最快的x86处理器和最省电的x86处理器之间二选一,才能平衡每个智能体的响应速度与可同时运行的智能体数量。 英伟达在100兆瓦数据中心对比中报告,单颗Vera CPU的表现优于最快的x86 CPU和最省电的x86 CPU。

智能体在任务中反复往返于GPU推理与CPU执行之间,搜索、查询数据库、编写和测试代码这些步骤都落在CPU上。 Vera是英伟达面向这类智能体步骤设计的CPU,其定位是让同一颗芯片覆盖多种智能体负载。 英伟达给出的两项对比是:相对最快的x86 CPU,Vera每瓦可多承载1.6倍智能体;相对最省电的x86 CPU,Vera的智能体速度达2倍。

早期采用者在生产式测试中报告了Vera上的加速,覆盖智能体编程、编排、数据库查询和沙箱启动等环节。 这些测试把Vera与x86平台放在同一工作负载下比较,而不是只给出芯片规格。 Perplexity称智能体编程任务快1.5倍并计划在后续生产系统部署Vera;DeepInfra称智能体编排速度最高为最佳x86处理器的2.2倍;Daytona称1000个智能体沙箱10.8秒上线,而x86为88.4秒。

启示与展望

报道范围限于英伟达公布的100兆瓦数据中心对比及Perplexity、DeepInfra、ClickHouse、DuckLabs、Daytona、Modal各自的生产式测试结果,面向评估智能体基础设施的工程师与运维人员。

英伟达的核心对比由其自行测算;Perplexity的Vera部署尚属计划中的生产系统,其余合作方数据为各自报告的测试结果。