Naoto Sugiura

当模型权重装不进单张消费级GPU时，按需搬运权重会占去解码阶段约98%的时间。一种按层调度的方法把部分层放到CPU上计算，同时异步把下一层的权重传往GPU，用CPU计算时间遮住传输；在RTX 5090台式机上，OPT-30B的推理比HuggingFace Accelerate快3.5倍、比DeepSpeed Zero-Inference快6.3倍。

当模型权重装不进单张消费级GPU时，按需搬运权重会占去解码阶段约98%的时间。一种按层调度的方法把部分层放到CPU上计算，同时异步把下一层的权重传往GPU，用CPU计算时间遮住传输；在RTX 5090台式机上，OPT-30B的推理比HuggingFace Accelerate快3.5倍、比DeepSpeed Zero-Inference快6.3倍。