GPU 平台验证补上运行时清单:AICR 默认纳入 k8s-aibom,看清节点上真正跑着什么
NVIDIA 的开源组件 AICR 现在把 Google 的 k8s-aibom 作为受验证组件纳入配方,让 GPU 加速的 Kubernetes 平台在部署已知良好配置的同时,记录集群里实际运行的 AI 工作负载。此前配方只能固定平台配置,应用团队自行更新的工作负载和 :latest 这类可变镜像标签可能让两个节点在同一标签下跑不同代码。两个 GKE 配方默认选中该组件,其余配方可在生成时开启。
NVIDIA 的开源组件 AICR 现在把 Google 的 k8s-aibom 作为受验证组件纳入配方,让 GPU 加速的 Kubernetes 平台在部署已知良好配置的同时,记录集群里实际运行的 AI 工作负载。此前配方只能固定平台配置,应用团队自行更新的工作负载和 :latest 这类可变镜像标签可能让两个节点在同一标签下跑不同代码。两个 GKE 配方默认选中该组件,其余配方可在生成时开启。
英伟达在KubeCon + CloudNativeCon上宣布将开源智能体安全与治理运行时OpenShell捐给云原生计算基金会(CNCF),使其成为由社区治理的沙箱项目,同时参与谷歌主导的Agent Substrate框架,并发布DSX AI工厂平台的三项新组件。OpenShell对智能体使用工具、访问推理服务和执行工作负载施加确定性控制,并允许接入自有算力、推理服务商、凭据存储与监控工具。英伟达称已有数百家组织使用OpenShell,项目在发布不到一年内收到数万次贡献。
NVIDIA 把开源运行时 Agent Substrate 捐入 CNCF 沙箱,用于在 Kubernetes 上安全运行大量沙箱化 AI 智能体。智能体大部分时间在等待提示、工具结果或模型回复,按会话常驻 Pod 会为闲置状态占用内存,按需建 Pod 又要在每一步付出数秒冷启动并丢失状态。Agent Substrate 用少量常驻工作 Pod 复用大量会话,空闲会话连同内存与文件系统被检查点保存,下次请求到来时恢复到任一空闲工作 Pod,项目方称其容器密度比标准容器高 10 倍。
NVIDIA 开源了 NVIDIA Snapshot,一个面向 Kubernetes 上 GPU 推理负载的检查点与恢复组件:它把已完全初始化的负载连同 CPU 与 GPU 内存一起存成可移植产物,在相同 GPU 型号与驱动的节点上恢复,从而跳过权重加载、编译与图捕获。在 vLLM、SGLang 和 TensorRT LLM 三个引擎、从 6 亿参数模型到 8 卡上 1 TB 检查点的 MoE 模型上,所有测试配置的副本恢复都在 45 秒以内,比冷启动快 8 到 36 倍。
英伟达为自家DGX SuperPOD运维开发了AI Factory Operations Agent,让站点可靠性工程师不必逐个查看计算、网络、硬件和调度仪表盘。该智能体由面向不同运维领域的专用子智能体组成,通过MCP协议通信,在生产中检测故障、跨层关联根因并经聊天界面给出建议。框架以Kubernetes控制面应用形式部署,工具调用受只读凭据和RBAC约束,编排框架以实验性开源软件发布。
NVIDIA 把 Kubernetes 分布式作业的结构描述从编译进工具的适配器换成一份可读定义:Workload Map 是一个自定义资源加 Go 库,为 JobSet、PyTorchJob、RayCluster 等框架给出统一结构视图。此前每接入一种自定义资源都要写一个适配器,解释角色、把状态折算成阶段、改 pod 模板而不弄坏作业,新类型支持常要等一个发布。定义以 YAML 写明模板位置、副本数与状态映射,调度器与平台共用;示例 JobSet 解析出一个 leader、两个 worker,共 12 块 GPU。
NVIDIA CUDA 13.4新增一种对应用透明的分时共享模式,让每个工作负载只看到并被强制限制在一部分GPU显存内,超出申请量的分配会像在小显存GPU上一样失败。KAI Scheduler 从 v0.18.0 起提供 NvFractions 共享模式,负责挑选GPU切片并把显存与计算模式写进 Pod 注解,新开源算子 gpu-fractioning 在节点上执行这些限制并统计每个份额的实际用量。
英伟达 Mission Control 2.5 把原本只服务 Slurm 高性能计算负载的自主恢复引擎扩展到由 NVIDIA Run:ai 管理的 Kubernetes 工作负载。此前这类 AI 工厂依赖人工干预、静态检查点和被动监控,难以支撑数十个并发多节点训练任务。新版本把工作负载放置、作业恢复与硬件恢复分成三层协同:作业侧依据失败历史和作业拓扑决定重启、重试或重新排队,硬件侧隔离可疑节点并做诊断,使恢复不必等待根因分析。
面向Kubernetes分布式应用的运维智能体SDO把每次故障处置沉淀为可复用的运维记忆:手册记录可参数化的诊断与修复步骤,检测器用非LLM代码在集群状态上判断何时该调用哪本手册,架构摘要则把手册中的角色绑定到当前应用。在11个开源微服务应用上,SDO在复发故障上把解决时间降低52%,中位解决时间从584秒降到282秒、token从540万降到220万;从源码部署应用时,运维记忆把部署时间与token用量降低47.5%。
NVIDIA 发布开源 Kubernetes 控制器 NVCRE(Cluster Readiness Engine),通过运行真实分布式工作负载(NCCL 通信、DCGM 四级诊断、NeMo Nemotron 5 预训练)并按拓扑感知分组测量结果,报告具体哪些节点失败及原因,从而在生产负载落地前验证 GPU 集群就绪性,替代手工编写 NCCL 清单和人工逐机排查。