模型生长、递归与边界算子如何影响缩放指数
该工作以 prelude–core–coda 循环 Transformer 为统一框架,在 FineWeb 上为每种架构单独拟合计算最优配方并训练到约 1020 FLOPs 的缩放阶梯,发现模型生长(训练中途增加核心遍数)与边界算子(归一化残差流并重新注入 prelude 输出)能改变预训练的缩放指数,使计算效率优势随规模扩大,而权重解绑只改变常数;在数据受限的多轮训练中,最优循环次数随计算量增长,扩大循环次数比扩大模型规模更省算力。
该工作以 prelude–core–coda 循环 Transformer 为统一框架,在 FineWeb 上为每种架构单独拟合计算最优配方并训练到约 1020 FLOPs 的缩放阶梯,发现模型生长(训练中途增加核心遍数)与边界算子(归一化残差流并重新注入 prelude 输出)能改变预训练的缩放指数,使计算效率优势随规模扩大,而权重解绑只改变常数;在数据受限的多轮训练中,最优循环次数随计算量增长,扩大循环次数比扩大模型规模更省算力。
已读完全部报道