英伟达把AI工厂遥测接成一张因果图：81条告警并成1起事件，省下约54小时集群运行时间
核心概要
英伟达推出面向AI工厂的AIOps平台Minerva，把GPU、交换机、存储与训练作业的遥测汇入一张随作业变化更新的知识图谱，再用监督与无监督模型识别静态阈值抓不到的“灰色故障”。在英伟达给出的一个案例中，一次交换机重启引发的81条独立事件被合并为一起事件，节省约54小时集群运行时间；另一个案例中，平台从约40万个接口里定位到一条正在悄悄丢带宽的NVLink连接。这些数字来自英伟达内部测试与案例描述，覆盖的是其支持场景。
深度剖析
AI工厂的运维对象从单块GPU或单台交换机的指标，变成整条作业依赖链上的异常。同步分布式训练里，作业按最慢的那个rank推进，一块略微过热的GPU、一块只在持续负载下掉速的NVMe盘、一条引发暂停帧风暴的交换机路径，都会让大量健康资源空等。 此前的规则式监控假定已知指标越过已知边界就对应已知故障，这对明确故障有效，对组件仍然可用、问题只在负载下或与同类比较时才显现的灰色故障则容易漏掉；阈值收紧又会在正常工作负载变化时产生大量告警。 英伟达描述的一个场景里，一次交换机页错误导致交换机重启，随之出现接收暂停帧在交换机间传播、链路反复断开以及GPU温度与利用率异常，最多表现为81条嘈杂事件，而单条告警都不解释变慢的原因。
平台把基础设施、调度器与作业放进同一张动态知识图谱，使运维人员可以从异常接口查到它承载的链路、当前作业落点与同一故障域内的邻近组件，也可以从作业ID反查到GPU、主机、网卡、交换机与日志证据。 此前网络团队看接口计数与链路事件，计算团队看节点与GPU健康，机器学习团队看步时与失败作业，每种视图都准确，但视图之间的关系是隐藏的，排查要靠翻多个仪表盘和跨团队交接。 英伟达称Minerva每小时处理数十亿条指标与日志数据点，监督模型识别已知关键错误模式并关联处置建议，无监督模型学习组件正常模式并与同类组件比较；日志侧用基于自然语言处理的异常检测发现此前未见过的模式。
检测结果被拓扑感知的关联引擎归并，下游症状合成一起带受影响拓扑与作业的事件，而不是各自争抢注意力。 此前同一物理故障产生的接口错误、暂停帧、拥塞指标、GPU利用率变化与作业变慢被分列在不同仪表盘上，值班工程师需要手工关联、分辨信号与噪声并分析根因。 英伟达称其测试显示在支持场景中通知事件与工单显著减少；一个案例里，Minerva的全栈作业根因分析仪表盘把变慢追溯到一台主机上无法从低功耗状态唤醒的NVMe设备，团队排空节点并返修，估计节省5530小时作业运行时间。
启示与展望
已展示的范围是英伟达内部测试与若干运维案例，覆盖GPU、NVLink与Spectrum-X交换机、SuperNIC、DPU、存储、NCCL、调度器与作业遥测；Minerva正与英伟达DSX OS对齐，从数据采集器开始的部分能力将成为DSX OS的开源组件。
英伟达称测试显示通知事件与工单显著减少，但未给出具体幅度与统计口径；案例中的约54小时、5530小时与“数分钟而非数小时”均为个案叙述。平台仍要求运维人员借助其他能力确定根因，智能体Sherlock给出的建议需要回到支撑它的遥测与拓扑证据。