英伟达把 AI 工厂的内存问题从“GPU 有多少容量”改成“每个字节产出多少有用 token”，用 NVFP4 压缩权重与 KV 缓存、宽专家并行分散 MoE 权重、Dynamo 复用 KV 缓存、Vera CPU 暂存工具调用期间的上下文、CMX 在机架级共享上下文存储。在回放真实编码智能体会话的 SemiAnalysis AgentX 上，每 GPU 同为 288 GB 的 Vera Rubin NVL72 在每用户 160 token/s 下，每兆瓦吞吐最高达到 GB300 NVL72 的 30 倍。
英伟达把 AI 工厂的内存问题从“GPU 有多少容量”改成“每个字节产出多少有用 token”，用 NVFP4 压缩权重与 KV 缓存、宽专家并行分散 MoE 权重、Dynamo 复用 KV 缓存、Vera CPU 暂存工具调用期间的上下文、CMX 在机架级共享上下文存储。在回放真实编码智能体会话的 SemiAnalysis AgentX 上，每 GPU 同为 288 GB 的 Vera Rubin NVL72 在每用户 160 token/s 下，每兆瓦吞吐最高达到 GB300 NVL72 的 30 倍。