# 大语言模型训练流程

nanochat 是一个面向单 GPU 节点的极简大语言模型训练实验框架，覆盖分词、预训练、微调、评估与推理全流程。它把模型规模收敛为一个复杂度旋钮 --depth（GPT 变换器的层数），其余宽度、头数、学习率与训练时长等超参数自动推算。按仓库给出的口径，在 8 张 H100 节点上约 2 小时、约 48 美元即可训练出 GPT-2 能力级别的模型，而 2019 年训练 GPT-2 的成本约为 43000 美元。

nanochat 是一个面向单 GPU 节点的极简大语言模型训练实验框架，覆盖分词、预训练、微调、评估与推理全流程。它把模型规模收敛为一个复杂度旋钮 --depth（GPT 变换器的层数），其余宽度、头数、学习率与训练时长等超参数自动推算。按仓库给出的口径，在 8 张 H100 节点上约 2 小时、约 48 美元即可训练出 GPT-2 能力级别的模型，而 2019 年训练 GPT-2 的成本约为 43000 美元。