英伟达把DGX SuperPOD运维交给AI智能体：跨层定位训练掉速，只读权限先行
核心概要
英伟达为自家DGX SuperPOD运维开发了AI Factory Operations Agent，让站点可靠性工程师不必逐个查看计算、网络、硬件和调度仪表盘。该智能体由面向不同运维领域的专用子智能体组成，通过MCP协议通信，在生产中检测故障、跨层关联根因并经聊天界面给出建议。框架以Kubernetes控制面应用形式部署，工具调用受只读凭据和RBAC约束，编排框架以实验性开源软件发布。
深度剖析
英伟达把AI工厂的日常运维从人工逐层排查改为由一组AI智能体协同完成，站点可靠性工程师通过一个聊天界面就能发起调查、切换不同调查并追踪每一步操作。 此前GPU集群规模扩大后，运维横跨计算、网络、硬件和调度，工程师往往要同时查看多个仪表盘才能判断训练性能下降的原因。 该智能体已在英伟达内部的DGX H100、DGX B200和DGX GB300生产集群上运行，用于检测故障、跨层关联根因并给出建议。
系统由一个面向用户的智能体运行时接收工程师的自然语言提问，再调用相应领域的子智能体和工具，各子智能体通过MCP（模型上下文协议，一种让智能体调用外部工具的接口约定）通信。 各领域智能体通过OpenClaw插件和MCP服务器接入基础设施，每个MCP只暴露一组经过批准的运维工具，因此新增智能体和基础设施集成不需要改动已有智能体。 内部部署使用作业恢复、硬件、可观测性、研究、Kubernetes和集群管理等专用智能体，分别覆盖训练作业失败与goodput下降的多层根因分析、PCIe与ECC等设备级故障、历史Prometheus与Grafana Loki日志查询、文档检索和只读集群状态查看。
安全控制分层实施：Kubernetes检查通过服务端的run_kubectl工具调用固定版本的kubectl二进制，并使用注册的只读凭据，OpenShell运行时不持有kubectl或Kubernetes凭据。 命令不在主网关Pod中执行，OpenShell为每个会话创建独立的Kubernetes沙箱，其生命周期不修改现有服务或生产工作负载。 权限检查显示该智能体可以读取Pod和ConfigMap，但不能读取Secret，也不能创建或更新Pod。
启示与展望
已展示的范围是英伟达内部DGX H100、DGX B200和DGX GB300生产集群上的部署，以及只读权限下的Kubernetes检查；编排框架以实验性开源软件提供，API、配置和部署要求可能随版本变化。
英伟达仍在通过测量根因分析准确率和跟踪工程师认可度来改进框架，材料未给出这些指标的数值；开源部分为实验性软件，接口与部署要求可能变化。