GPU不再整块分配:CUDA 13.4给显存划硬边界,Kubernetes按份额切卡
NVIDIA CUDA 13.4新增一种对应用透明的分时共享模式,让每个工作负载只看到并被强制限制在一部分GPU显存内,超出申请量的分配会像在小显存GPU上一样失败。KAI Scheduler 从 v0.18.0 起提供 NvFractions 共享模式,负责挑选GPU切片并把显存与计算模式写进 Pod 注解,新开源算子 gpu-fractioning 在节点上执行这些限制并统计每个份额的实际用量。
NVIDIA CUDA 13.4新增一种对应用透明的分时共享模式,让每个工作负载只看到并被强制限制在一部分GPU显存内,超出申请量的分配会像在小显存GPU上一样失败。KAI Scheduler 从 v0.18.0 起提供 NvFractions 共享模式,负责挑选GPU切片并把显存与计算模式写进 Pod 注解,新开源算子 gpu-fractioning 在节点上执行这些限制并统计每个份额的实际用量。
已读完全部报道