英伟达把Run:ai整套平台开源:GPU编排不再只走商业订阅,四个组件可单独取用
核心概要
英伟达将完整的Run:ai平台以开源软件形式发布,并纳入DSX AI Factory平台,使客户、开发者与生态伙伴可直接获取生产级的AI工作负载与GPU编排能力。此前该平台以商业产品形式提供,用于在Kubernetes上动态分配GPU资源并管理从数据处理、训练到推理的全生命周期。开源版本包含KAI Scheduler、GPU Fractioning Operator、KAI Resource Management和Workload Map四个可独立采用的组件,生态伙伴可整体采用、在其上构建自有产品,或按需集成单个组件。
深度剖析
完整的Run:ai平台现在以开源软件形式提供,平台团队和生态伙伴可以整体采用,也可以只取其中某个组件来补上自己平台缺的那项能力。 此前Run:ai是帮助组织在Kubernetes上大规模运行AI工作负载的商业产品,负责动态分配GPU资源并管理从数据处理、训练到推理的全生命周期。 开源发布包含完整平台代码和四个可独立采用的组件,源码位于英伟达DSX AI Factory的GitHub组织内,同时以NGC社区产品形式提供Helm chart用于安装整套栈。
四个组件各自解决一类具体问题:调度、GPU切分、资源归属和工作负载描述。 KAI Scheduler是驱动Run:ai平台的Kubernetes原生调度器,已以Apache 2.0许可开源并捐入CNCF沙箱项目,调度器开发全部在社区仓库进行。 KAI Scheduler负责多Pod作业的全有或全无放置、公平份额与配额分配、拓扑感知与装箱、GPU共享以及动态资源分配支持;GPU Fractioning Operator把CUDA 13.4原生的GPU切分带到Kubernetes,由驱动对每个工作负载强制内存硬上限,并附带按Pod查看切分使用情况的指标导出器。
另外两个组件分别管组织层的资源归属和多类型工作负载的统一描述。 KAI Resource Management在调度器决定工作放置之后,规定谁获得什么资源,用项目、部门、节点池把GPU容量按组织结构和公平份额、配额语义分配下去。 Workload Map为PyTorchJob、RayCluster、JobSet、KServe InferenceService等各类工作负载提供一致的描述方式,以Go库形式发布,可离线处理非结构化对象,不需要往集群里添加任何东西,且明确只描述工作负载结构,不做调度、排队、自动扩缩或跨集群传播。
启示与展望
这次发布面向在Kubernetes上运行AI工作负载的平台团队、AI云和DSX生态伙伴,可整体采用平台,也可只集成单个组件。KAI Scheduler可以部署在已有集群中,与当前软件栈并存,不需要完整平台;Workload Map以Go库形式离线工作,不需要改动集群。NGC上的社区产品不需要付费订阅或英伟达支持权益,但不包含企业级支持;企业AI工厂部署仍通过英伟达支持的商业产品提供,可用性、许可和支持条款因产品而异。
开源社区产品不附带英伟达企业支持,需要支持的部署仍要走商业产品线。Workload Map被明确限定为只描述工作负载结构,不负责调度、排队、自动扩缩或跨集群传播。GPU Fractioning Operator依赖CUDA 13.4的原生切分能力,此前的专有实现已退役。发布材料没有给出开源版本与商业版本在功能上的逐项对照。
