4GB显卡跑70B模型：AirLLM逐层流式加载，2.8T的Kimi K3也只要3.72GB
核心概要
AirLLM把大模型推理的显存占用压到单张消费级显卡可承受的范围：不做量化、蒸馏或剪枝，而是把权重按层流式加载，70B模型可在4GB显卡上运行。其2026年更新给出端到端实测，Kimi K3（2.8T）在单张RTX 6000 Ada上占3.72GB，Qwen3.8-Flash-Next（125B）在单张RTX 4090上占5.95GB，DeepSeek-V3（671B）约12GB。同一机制还扩展到训练，冻结权重逐层流入、适配器留在GPU上，125B模型可在6GB显存下训练。
深度剖析
大模型推理的显存门槛被降到单张消费级显卡的水平，且不依赖量化、蒸馏或剪枝来压缩模型本身。 此前要在有限显存上跑大模型，通常得先对权重做量化或剪枝，把模型改小后再加载。 70B模型在单张4GB显卡上运行；Kimi K3（2.8T）在单张RTX 6000 Ada上端到端实测占3.72GB，Qwen3.8-Flash-Next（125B）在单张RTX 4090上占5.95GB，DeepSeek-V3（671B）约12GB。
权重不再一次性全部驻留显存，而是按层依次送入GPU参与计算，用完即让出空间。 逐层流式加载是这套方案的核心机制，配合预取把模型加载与计算重叠起来。 Kimi K3采用按专家流式加载，只加载每个token实际路由到的专家；Qwen3.8-Flash-Next的n-gram嵌入表以文件映射方式留在主机内存，64GB主机即可，解码层则流式加载。
同一套流式思路被扩展到训练，冻结权重逐层流过GPU，可训练参数以适配器形式常驻显存。 此前这类低显存方案主要面向推理，训练大模型仍需要把权重和优化器状态放进显存。 Qwen3.8-Flash-Next（125B）在RTX 3060 Ti上以不到6GB显存训练，Qwen3.8-27B在序列长度512下约2GB显存训练。
启示与展望
这套方案面向希望在有限显存上运行或微调大模型的研究人员与工程师，覆盖从70B到2.8T的多个模型家族，并给出单卡端到端显存实测。使用Kimi K3需要额外安装compressed-tensors与flash-attn、使用CUDA 12构建的torch以及transformers 4.56.x；Qwen3.8-27B需要transformers 5.8+；Qwen3.8-Flash-Next需要带qwen4_exp的transformers构建，并准备约360GB检查点磁盘空间。
显存数字来自项目方给出的单卡端到端测量，来源为项目说明而非独立评测，尚未见到第三方复现。Kimi K3的模型代码强制使用flash attention，且目前没有CUDA 13的预编译flash-attn轮子，因此需要CUDA 12构建的torch；其远程代码在transformers 5.x上无法加载。Qwen3.8-Flash-Next需要带qwen4_exp的transformers构建，并占用约360GB检查点磁盘空间。