跳到主要内容
检索

# Kubernetes

11 篇关联报道

订阅更新
  1. NVIDIA Technical Blog

    GPU 平台验证补上运行时清单:AICR 默认纳入 k8s-aibom,看清节点上真正跑着什么

    NVIDIA 的开源组件 AICR 现在把 Google 的 k8s-aibom 作为受验证组件纳入配方,让 GPU 加速的 Kubernetes 平台在部署已知良好配置的同时,记录集群里实际运行的 AI 工作负载。此前配方只能固定平台配置,应用团队自行更新的工作负载和 :latest 这类可变镜像标签可能让两个节点在同一标签下跑不同代码。两个 GKE 配方默认选中该组件,其余配方可在生成时开启。

  2. NVIDIA Blog

    英伟达把智能体安全运行时OpenShell捐给CNCF,Kubernetes上跑智能体多了治理层

    英伟达在KubeCon + CloudNativeCon上宣布将开源智能体安全与治理运行时OpenShell捐给云原生计算基金会(CNCF),使其成为由社区治理的沙箱项目,同时参与谷歌主导的Agent Substrate框架,并发布DSX AI工厂平台的三项新组件。OpenShell对智能体使用工具、访问推理服务和执行工作负载施加确定性控制,并允许接入自有算力、推理服务商、凭据存储与监控工具。英伟达称已有数百家组织使用OpenShell,项目在发布不到一年内收到数万次贡献。

  3. NVIDIA Technical Blog

    Agent Substrate 捐入 CNCF 沙箱:闲置智能体会话换出,项目方称容器密度可达 10 倍

    NVIDIA 把开源运行时 Agent Substrate 捐入 CNCF 沙箱,用于在 Kubernetes 上安全运行大量沙箱化 AI 智能体。智能体大部分时间在等待提示、工具结果或模型回复,按会话常驻 Pod 会为闲置状态占用内存,按需建 Pod 又要在每一步付出数秒冷启动并丢失状态。Agent Substrate 用少量常驻工作 Pod 复用大量会话,空闲会话连同内存与文件系统被检查点保存,下次请求到来时恢复到任一空闲工作 Pod,项目方称其容器密度比标准容器高 10 倍。

  4. NVIDIA Technical Blog

    NVIDIA Snapshot 开源:把已初始化的 GPU 推理负载存成快照,副本恢复从数分钟缩到 45 秒内

    NVIDIA 开源了 NVIDIA Snapshot,一个面向 Kubernetes 上 GPU 推理负载的检查点与恢复组件:它把已完全初始化的负载连同 CPU 与 GPU 内存一起存成可移植产物,在相同 GPU 型号与驱动的节点上恢复,从而跳过权重加载、编译与图捕获。在 vLLM、SGLang 和 TensorRT LLM 三个引擎、从 6 亿参数模型到 8 卡上 1 TB 检查点的 MoE 模型上,所有测试配置的副本恢复都在 45 秒以内,比冷启动快 8 到 36 倍。

  5. NVIDIA Technical Blog

    英伟达把DGX SuperPOD运维交给AI智能体:跨层定位训练掉速,只读权限先行

    英伟达为自家DGX SuperPOD运维开发了AI Factory Operations Agent,让站点可靠性工程师不必逐个查看计算、网络、硬件和调度仪表盘。该智能体由面向不同运维领域的专用子智能体组成,通过MCP协议通信,在生产中检测故障、跨层关联根因并经聊天界面给出建议。框架以Kubernetes控制面应用形式部署,工具调用受只读凭据和RBAC约束,编排框架以实验性开源软件发布。

  6. NVIDIA Technical Blog

    新框架接入 Kubernetes 不再等适配器:NVIDIA 把作业结构写成一份可复用 YAML

    NVIDIA 把 Kubernetes 分布式作业的结构描述从编译进工具的适配器换成一份可读定义:Workload Map 是一个自定义资源加 Go 库,为 JobSet、PyTorchJob、RayCluster 等框架给出统一结构视图。此前每接入一种自定义资源都要写一个适配器,解释角色、把状态折算成阶段、改 pod 模板而不弄坏作业,新类型支持常要等一个发布。定义以 YAML 写明模板位置、副本数与状态映射,调度器与平台共用;示例 JobSet 解析出一个 leader、两个 worker,共 12 块 GPU。

  7. NVIDIA Technical Blog

    GPU不再整块分配:CUDA 13.4给显存划硬边界,Kubernetes按份额切卡

    NVIDIA CUDA 13.4新增一种对应用透明的分时共享模式,让每个工作负载只看到并被强制限制在一部分GPU显存内,超出申请量的分配会像在小显存GPU上一样失败。KAI Scheduler 从 v0.18.0 起提供 NvFractions 共享模式,负责挑选GPU切片并把显存与计算模式写进 Pod 注解,新开源算子 gpu-fractioning 在节点上执行这些限制并统计每个份额的实际用量。

  8. NVIDIA Technical Blog

    英伟达把自愈恢复引擎接进Kubernetes:故障节点先隔离,训练任务不必等根因诊断

    英伟达 Mission Control 2.5 把原本只服务 Slurm 高性能计算负载的自主恢复引擎扩展到由 NVIDIA Run:ai 管理的 Kubernetes 工作负载。此前这类 AI 工厂依赖人工干预、静态检查点和被动监控,难以支撑数十个并发多节点训练任务。新版本把工作负载放置、作业恢复与硬件恢复分成三层协同:作业侧依据失败历史和作业拓扑决定重启、重试或重新排队,硬件侧隔离可疑节点并做诊断,使恢复不必等待根因分析。

  9. arXiv

    运维智能体不再每次从零查故障:把处置经验写成检测器和手册,复发故障解决快2.1倍

    面向Kubernetes分布式应用的运维智能体SDO把每次故障处置沉淀为可复用的运维记忆:手册记录可参数化的诊断与修复步骤,检测器用非LLM代码在集群状态上判断何时该调用哪本手册,架构摘要则把手册中的角色绑定到当前应用。在11个开源微服务应用上,SDO在复发故障上把解决时间降低52%,中位解决时间从584秒降到282秒、token从540万降到220万;从源码部署应用时,运维记忆把部署时间与token用量降低47.5%。

  10. NVIDIA Technical Blog

    NVIDIA 开源 NVCRE:在 Kubernetes 上跑真实分布式负载,把 512-GPU 训练前的集群就绪变成可验证属性

    NVIDIA 发布开源 Kubernetes 控制器 NVCRE(Cluster Readiness Engine),通过运行真实分布式工作负载(NCCL 通信、DCGM 四级诊断、NeMo Nemotron 5 预训练)并按拓扑感知分组测量结果,报告具体哪些节点失败及原因,从而在生产负载落地前验证 GPU 集群就绪性,替代手工编写 NCCL 清单和人工逐机排查。