AirLLM 让 2.8T 的 Kimi K3 跑在单卡 3.72GB 显存上，靠逐层流式加载而非量化
AirLLM 把大模型推理的显存占用压到单卡几 GB 量级：Kimi K3（2.8T）在单张 RTX 6000 Ada 上实测端到端占用 3.72GB 显存，Qwen3.8-Flash-Next（125B）在单张 RTX 4090 上为 5.95GB，DeepSeek-V3（671B）约 12GB。它不依赖量化、蒸馏或剪枝，而是把权重按层流式加载，MoE 模型只加载每个 token 实际路由到的专家。项目还扩展到训练：冻结权重逐层流入，适配器留在 GPU 上，125B 模型可在 6GB 显存下训练。