Vera Rubin NVL72 首份智能体推理成绩：每兆瓦吞吐最高约为 GB300 的 5.7 倍
核心概要
AA-AgentPerf 首次公布 NVIDIA Vera Rubin NVL72 在真实编码智能体轨迹上的服务结果：在 DeepSeek V4 Pro 上，每兆瓦总吞吐最高约为前代 GB300 NVL72 的 5.7 倍，在 DeepSeek V4.1 Flash、GLM-5.2 和 Kimi K3 上分别约为 5.4 倍、3.0 倍和 2.8 倍。这些倍数出现在 GB300 吞吐随每用户速度下降的位置，峰值吞吐时的领先只有 1.14 倍到 1.45 倍。测试负载中平均 97% 的输入 token 与上一请求重复，因此前缀缓存和跨内存层级的 KV 缓存成为关键。
深度剖析
NVIDIA 的机架级系统 Vera Rubin NVL72 在编码智能体负载上，每兆瓦实测 GPU 功耗的总吞吐高于前代 GB300 NVL72，且领先幅度随每用户输出速度上升而扩大。 此前 AA-AgentPerf 上没有 Vera Rubin 的结果，GB300 NVL72 是这一负载上的前代对照系统。 在 DeepSeek V4 Pro 上，Vera Rubin 在约 190 tok/s 每用户时每兆瓦服务 132M token/s，GB300 约为 23M，约 5.7 倍；在 DeepSeek V4.1 Flash 约 580 tok/s 时约 5.4 倍，GLM-5.2 约 165 tok/s 时约 3.0 倍，Kimi K3 约 67 tok/s 时约 2.8 倍。
这套服务栈把智能体会话的重复上下文留在缓存里，只对每轮新增的 token 做预填充，并按会话把请求路由到持有其缓存的 worker。 编码智能体每轮把整段对话重新发给模型，上下文随读文件、跑测试和改代码不断增长，而回复往往只是很短的工具调用。 AA-AgentPerf 回放真实编码智能体轨迹，单请求输入最多 132K token，平均 97% 的输入 token 与上一请求重复；Vera Rubin 的多数配置通过 NVLink-C2C 把 KV 缓存卸载到 CPU 内存，DeepSeek V4 Pro 的预填充 worker 配置了 120 至 200 GiB 主机内存用于 KV 缓存。
启示与展望
结果覆盖四个模型在 AA-AgentPerf 回放负载上的服务配置，吞吐按实测 GPU 功耗计，不含 CPU、网络和散热；每用户速度取请求的第 25 百分位且不含首 token 时间。
这是 Vera Rubin 的首批结果，使用早期 Rubin 专用内核与调优，NVIDIA 预计后续优化会继续提升性能；DeepSeek V4.1 Flash 上 Vera Rubin 的回复被限制在 2,048 输出 token，约 2% 的回复触及上限，平均回复约短一成，对吞吐略有有利影响；按含首 token 等待的端到端速度计，DeepSeek V4 Pro 上 GB300 在多数速度点每兆瓦吞吐与 Vera Rubin 相当或更高，而 GLM-5.2 上 Vera Rubin 仍以 1.1 倍到 1.8 倍领先。