英伟达把智能体推理的内存账算到每个字节：Vera Rubin NVL72 每兆瓦吞吐最高达 GB300 NVL72 的 30 倍
核心概要
英伟达把 AI 工厂的内存问题从“GPU 有多少容量”改成“每个字节产出多少有用 token”，用 NVFP4 压缩权重与 KV 缓存、宽专家并行分散 MoE 权重、Dynamo 复用 KV 缓存、Vera CPU 暂存工具调用期间的上下文、CMX 在机架级共享上下文存储。在回放真实编码智能体会话的 SemiAnalysis AgentX 上，每 GPU 同为 288 GB 的 Vera Rubin NVL72 在每用户 160 token/s 下，每兆瓦吞吐最高达到 GB300 NVL72 的 30 倍。
深度剖析
英伟达把 AI 工厂的内存效率重新定义为每个字节能产出多少有用 token，而不是 GPU 装了多少容量。 从 GB300 到 Rubin，每 GPU 容量保持在 288 GB，带宽升到 19.2 TB/s，单看容量无法解释智能体吞吐的提升。 在回放带真实工具调用间隔和增长上下文的编码智能体会话的 SemiAnalysis AgentX 上，Vera Rubin NVL72 在每用户 160 token/s 下，每兆瓦吞吐最高达到 GB300 NVL72 的 30 倍，而两者每 GPU 同为 288 GB。
权重和 KV 缓存被压到更少的比特，同时保留足够的精度。 NVFP4 用 4 位 E2M1 元素，每 16 个值共享一个 FP8 缩放因子，再叠加每张量的 FP32 缩放，比朴素的 4 位格式更细。 用于权重时，NVFP4 相对 FP16 把模型占用缩小约 3.5 倍、相对 FP8 缩小 1.8 倍；在 AA-AgentPerf、SemiAnalysis AgentX 和 MLPerf Endpoints 等基准及主流 MoE 架构上，同等交互性下吞吐最高为 FP8 基线的 4 倍；NVFP4 KV 缓存相对 FP8 占用最多减半，约 2 倍上下文可常驻设备。
MoE 专家权重被摊到更多 GPU 上，KV 缓存被当作整个集群共享的资源来调度。 专家挤在少数 GPU 上时，每张卡大量显存用于权重，每个解码步都要为 MoE GroupGEMM 付出沉重的权重加载代价。 TensorRT-LLM 的宽专家并行在 DeepSeek-R1 的 EP64 下让每 GPU 每层只放 4 个专家、58 个 MoE 层共 232 个专家块（全模型 14,848 个）；GB200 NVL72 上 EP32 在每用户 100 token/s 下每 GPU 输出 token 数最高为 EP8 的 1.8 倍；Dynamo 通过 KV 感知路由、预填充与解码分离和 KV Cache Runner 把缓存放到 GPU、固定 CPU 和存储层。
CPU 内存和机架级闪存成为 KV 缓存的额外层级，让上下文跨工具调用和跨节点存活。 工具调用期间留在 HBM 里的会话缓存占着容量却不产出 token，被驱逐后还要重新预填充。 Vera CPU 提供最高 1.5 TB LPDDR5X，超过单块 Rubin GPU HBM4 容量的 5 倍，并以 1.8 TB/s 的 NVLink-C2C 与 Rubin 相干连接；CMX 在长上下文推理下相对传统存储最高带来 5 倍 token/s 和 5 倍能效。
启示与展望
所述结论覆盖英伟达自家 GB300、GB200 与 Vera Rubin NVL72 平台及 TensorRT-LLM、Dynamo、CMX 软件栈，性能数字来自 SemiAnalysis AgentX 等基准回放和厂商验证测试，而非生产部署测量。
30 倍每兆瓦吞吐是在每用户 160 token/s 的交互性条件下、于回放编码智能体会话的基准上给出的上限值；NVFP4 的 4 倍吞吐是相对 FP8 基线、在同等交互性下测得；CMX 的 5 倍 token/s 与 5 倍能效是相对传统存储、针对长上下文推理。