跳到主要内容
检索

# 智能体推理

3 篇关联报道

订阅更新
  1. Artificial Analysis

    Vera Rubin NVL72 首份智能体推理成绩:每兆瓦吞吐最高约为 GB300 的 5.7 倍

    AA-AgentPerf 首次公布 NVIDIA Vera Rubin NVL72 在真实编码智能体轨迹上的服务结果:在 DeepSeek V4 Pro 上,每兆瓦总吞吐最高约为前代 GB300 NVL72 的 5.7 倍,在 DeepSeek V4.1 Flash、GLM-5.2 和 Kimi K3 上分别约为 5.4 倍、3.0 倍和 2.8 倍。这些倍数出现在 GB300 吞吐随每用户速度下降的位置,峰值吞吐时的领先只有 1.14 倍到 1.45 倍。测试负载中平均 97% 的输入 token 与上一请求重复,因此前缀缓存和跨内存层级的 KV 缓存成为关键。

  2. arXiv

    智能体推理服务不再重启换相:Evolving Infra 让节点原地切换,切换耗时从754秒降到6.2秒

    面向编码、数学与计算机操作类智能体负载,Evolving Infra 把预填充与解码的算力分配同 KV 缓存管理解耦:节点不再重启即可在两种阶段间切换,KV 留在所有节点可读的共享池中。在最多 256 块 GB300 GPU 上,其平均端到端时延与 P95 首字时延相对 NVIDIA Dynamo 最多降低 4.1 倍和 14 倍,平均一次阶段切换耗时 6.2 秒,而 Dynamo 重启需 754 秒。

  3. arXiv

    JevSpawn 让智能体从自然语言任务自行推导有限动作域,在八项基准中的五项取得最高分并在导航任务上把端到端延迟降到约 41 秒

    JevSpawn 提出一种免训练的组合式策略,把自然语言任务说明转成可执行的有限动作域,通过并行动作生成、反馈驱动的分支选择、表示修订与保留分支恢复来探索,在八个基准任务上对比七个智能体基线与一个 TypeSafe Jev 变体,在八项中的五项取得最高分,并在 Maze 与 Grid 上同时把成功率提升到 0.96 与 0.95、把端到端延迟从最快基线的 47.91 秒和 61.44 秒降到 40.91 秒和 40.58 秒。

已读完全部报道