NVIDIA开源集群级训练恢复服务：单集群日均近200个作业，检测与恢复动作平均69秒和94秒
分布式训练规模扩大后，单卡故障会随集群规模累积，而逐作业手工排查日志、隔离故障、从检查点重启已难以覆盖整个集群。NVIDIA 以 Apache 2.0 开源 NVIDIA Recovery，这一工作负载级服务结合应用日志、GPU 指标与调度器信号，完成检测、归因、隔离和重启或停止四个阶段，并通过 Advisor API 与 Slurm 对接。在一个训练集群上，7月9日至10月9日的监控覆盖日均近200个作业，记录约8550次异常检测，检测与恢复动作的平均延迟分别为69秒和94秒。