nanochat把GPT-2级训练压到单节点：8张H100跑约2小时，成本约48美元
核心概要
nanochat 是一个面向单 GPU 节点的极简大语言模型训练实验框架，覆盖分词、预训练、微调、评估与推理全流程。它把模型规模收敛为一个复杂度旋钮 --depth（GPT 变换器的层数），其余宽度、头数、学习率与训练时长等超参数自动推算。按仓库给出的口径，在 8 张 H100 节点上约 2 小时、约 48 美元即可训练出 GPT-2 能力级别的模型，而 2019 年训练 GPT-2 的成本约为 43000 美元。
深度剖析
训练一个 GPT-2 能力级别的大语言模型，现在可以在单个 8 卡 H100 节点上完成，并通过命令行直接对话。 2019 年训练 GPT-2 的成本约为 43000 美元，而按当前约每小时 3 美元每卡的算价，8 卡 H100 节点约每小时 24 美元，2 小时约 48 美元。 仓库以 GPT-2（1.6B）的 CORE 分数 0.256525 作为能力门槛，并维护一个以超越该分数所需实际耗时为准的“GPT-2 速度跑”排行榜。
整套流程被收进一个脚本，从分词、预训练、微调到评估和推理都在同一条流水线里跑完。 此前搭建同类流程需要分别拼装各阶段的代码与配置，而这里 runs/speedrun.sh 就是训练 GPT-2 级模型并与之对话的参考路径。 该脚本设计为在 8 卡 H100 节点上运行，约 1.5 小时完成，随后可用 python -m scripts.chat_cli 在本地虚拟环境中对话。
模型规模由一个旋钮控制，即 GPT 变换器的层数 --depth，其余超参数由框架自动推算。 宽度、注意力头数、学习率调整、训练时长与权重衰减等不再需要逐项手调，而是随深度一并给出。 仓库说明 GPT-2 能力大致对应 depth 26，并可据此按同一规则生成一整组计算最优的模型系列。
启示与展望
仓库面向希望在单台 8 卡 H100 节点上亲手训练并对话的开发者与研究者，速度跑脚本即参考路径；所训练模型为 4e19 FLOPs 的能力模型，仓库自述其水平大致相当于幼儿园阶段。
成本数字基于当前约每小时 3 美元每卡的算价推算，现货实例上总成本可接近约 15 美元；仓库当前开发重点仍在预训练阶段的调优。