Vera Rubin NVL72 首份智能体推理成绩:每兆瓦吞吐最高约为 GB300 的 5.7 倍
AA-AgentPerf 首次公布 NVIDIA Vera Rubin NVL72 在真实编码智能体轨迹上的服务结果:在 DeepSeek V4 Pro 上,每兆瓦总吞吐最高约为前代 GB300 NVL72 的 5.7 倍,在 DeepSeek V4.1 Flash、GLM-5.2 和 Kimi K3 上分别约为 5.4 倍、3.0 倍和 2.8 倍。这些倍数出现在 GB300 吞吐随每用户速度下降的位置,峰值吞吐时的领先只有 1.14 倍到 1.45 倍。测试负载中平均 97% 的输入 token 与上一请求重复,因此前缀缓存和跨内存层级的 KV 缓存成为关键。