# 低显存大语言模型推理

AirLLM把大模型推理的显存占用压到单张消费级显卡可承受的范围：不做量化、蒸馏或剪枝，而是把权重按层流式加载，70B模型可在4GB显卡上运行。其2026年更新给出端到端实测，Kimi K3（2.8T）在单张RTX 6000 Ada上占3.72GB，Qwen3.8-Flash-Next（125B）在单张RTX 4090上占5.95GB，DeepSeek-V3（671B）约12GB。同一机制还扩展到训练，冻结权重逐层流入、适配器留在GPU上，125B模型可在6GB显存下训练。

AirLLM把大模型推理的显存占用压到单张消费级显卡可承受的范围：不做量化、蒸馏或剪枝，而是把权重按层流式加载，70B模型可在4GB显卡上运行。其2026年更新给出端到端实测，Kimi K3（2.8T）在单张RTX 6000 Ada上占3.72GB，Qwen3.8-Flash-Next（125B）在单张RTX 4090上占5.95GB，DeepSeek-V3（671B）约12GB。同一机制还扩展到训练，冻结权重逐层流入、适配器留在GPU上，125B模型可在6GB显存下训练。