跳到主要内容
检索

# KAI调度器

5 篇关联报道

订阅更新
  1. NVIDIA Technical Blog

    Agent Substrate 捐入 CNCF 沙箱:闲置智能体会话换出,项目方称容器密度可达 10 倍

    NVIDIA 把开源运行时 Agent Substrate 捐入 CNCF 沙箱,用于在 Kubernetes 上安全运行大量沙箱化 AI 智能体。智能体大部分时间在等待提示、工具结果或模型回复,按会话常驻 Pod 会为闲置状态占用内存,按需建 Pod 又要在每一步付出数秒冷启动并丢失状态。Agent Substrate 用少量常驻工作 Pod 复用大量会话,空闲会话连同内存与文件系统被检查点保存,下次请求到来时恢复到任一空闲工作 Pod,项目方称其容器密度比标准容器高 10 倍。

  2. NVIDIA Technical Blog

    新框架接入 Kubernetes 不再等适配器:NVIDIA 把作业结构写成一份可复用 YAML

    NVIDIA 把 Kubernetes 分布式作业的结构描述从编译进工具的适配器换成一份可读定义:Workload Map 是一个自定义资源加 Go 库,为 JobSet、PyTorchJob、RayCluster 等框架给出统一结构视图。此前每接入一种自定义资源都要写一个适配器,解释角色、把状态折算成阶段、改 pod 模板而不弄坏作业,新类型支持常要等一个发布。定义以 YAML 写明模板位置、副本数与状态映射,调度器与平台共用;示例 JobSet 解析出一个 leader、两个 worker,共 12 块 GPU。

  3. NVIDIA Technical Blog

    GPU不再整块分配:CUDA 13.4给显存划硬边界,Kubernetes按份额切卡

    NVIDIA CUDA 13.4新增一种对应用透明的分时共享模式,让每个工作负载只看到并被强制限制在一部分GPU显存内,超出申请量的分配会像在小显存GPU上一样失败。KAI Scheduler 从 v0.18.0 起提供 NvFractions 共享模式,负责挑选GPU切片并把显存与计算模式写进 Pod 注解,新开源算子 gpu-fractioning 在节点上执行这些限制并统计每个份额的实际用量。

  4. NVIDIA Technical Blog

    英伟达把Run:ai整套平台开源:GPU编排不再只走商业订阅,四个组件可单独取用

    英伟达将完整的Run:ai平台以开源软件形式发布,并纳入DSX AI Factory平台,使客户、开发者与生态伙伴可直接获取生产级的AI工作负载与GPU编排能力。此前该平台以商业产品形式提供,用于在Kubernetes上动态分配GPU资源并管理从数据处理、训练到推理的全生命周期。开源版本包含KAI Scheduler、GPU Fractioning Operator、KAI Resource Management和Workload Map四个可独立采用的组件,生态伙伴可整体采用、在其上构建自有产品,或按需集成单个组件。

  5. NVIDIA Technical Blog

    NVIDIA 发布开源工具 Topograph,把集群网络拓扑转成 Kubernetes 标签与 Slurm 配置,让调度器按物理邻近性放置 GPU 工作负载

    NVIDIA 推出开源工具 Topograph,它通过 provider 从云 API 或本地网络系统发现集群拓扑并归一化为统一模型,再由 engine 输出为 Kubernetes 节点标签、NFD 资源、Slinky ConfigMap、Slurm 拓扑配置或拓扑 JSON,使 Kubernetes、Slurm、Slinky 上的调度器能够基于当前拓扑做邻近性放置,并支持 KAI Scheduler、Kueue 的拓扑感知 gang 调度。

已读完全部报道