# NVIDIA Attribution故障归因工具

分布式AI训练里，一处GPU或网络故障会在其他rank上引发NCCL报错、调度状态变化和大量下游消息，而异常只显示作业停在哪里。英伟达将内部使用的Attribution归因工具开源，它按作业范围汇集日志、指标、遥测和调度状态，用确定性规则区分下游症状与根因，并返回结构化诊断。在一个多rank训练示例中，它把node-02上的XID 149判为NVLink信号完整性问题的根因，把其他rank的NCCL报错保留为症状，并将作业判为硬件故障。

分布式AI训练里，一处GPU或网络故障会在其他rank上引发NCCL报错、调度状态变化和大量下游消息，而异常只显示作业停在哪里。英伟达将内部使用的Attribution归因工具开源，它按作业范围汇集日志、指标、遥测和调度状态，用确定性规则区分下游症状与根因，并返回结构化诊断。在一个多rank训练示例中，它把node-02上的XID 149判为NVLink信号完整性问题的根因，把其他rank的NCCL报错保留为症状，并将作业判为硬件故障。