NVIDIA 开源 NVCRE:在 Kubernetes 上跑真实分布式负载,把 512-GPU 训练前的集群就绪变成可验证属性
NVIDIA 发布开源 Kubernetes 控制器 NVCRE(Cluster Readiness Engine),通过运行真实分布式工作负载(NCCL 通信、DCGM 四级诊断、NeMo Nemotron 5 预训练)并按拓扑感知分组测量结果,报告具体哪些节点失败及原因,从而在生产负载落地前验证 GPU 集群就绪性,替代手工编写 NCCL 清单和人工逐机排查。
NVIDIA 发布开源 Kubernetes 控制器 NVCRE(Cluster Readiness Engine),通过运行真实分布式工作负载(NCCL 通信、DCGM 四级诊断、NeMo Nemotron 5 预训练)并按拓扑感知分组测量结果,报告具体哪些节点失败及原因,从而在生产负载落地前验证 GPU 集群就绪性,替代手工编写 NCCL 清单和人工逐机排查。
已读完全部报道