跳到主要内容
检索

# GPU切分算子

2 篇关联报道

订阅更新
  1. NVIDIA Technical Blog

    GPU不再整块分配:CUDA 13.4给显存划硬边界,Kubernetes按份额切卡

    NVIDIA CUDA 13.4新增一种对应用透明的分时共享模式,让每个工作负载只看到并被强制限制在一部分GPU显存内,超出申请量的分配会像在小显存GPU上一样失败。KAI Scheduler 从 v0.18.0 起提供 NvFractions 共享模式,负责挑选GPU切片并把显存与计算模式写进 Pod 注解,新开源算子 gpu-fractioning 在节点上执行这些限制并统计每个份额的实际用量。

  2. NVIDIA Technical Blog

    英伟达把Run:ai整套平台开源:GPU编排不再只走商业订阅,四个组件可单独取用

    英伟达将完整的Run:ai平台以开源软件形式发布,并纳入DSX AI Factory平台,使客户、开发者与生态伙伴可直接获取生产级的AI工作负载与GPU编排能力。此前该平台以商业产品形式提供,用于在Kubernetes上动态分配GPU资源并管理从数据处理、训练到推理的全生命周期。开源版本包含KAI Scheduler、GPU Fractioning Operator、KAI Resource Management和Workload Map四个可独立采用的组件,生态伙伴可整体采用、在其上构建自有产品,或按需集成单个组件。

已读完全部报道