递归自我改进不止于后训练：801-30B-A3B从零预训练三个月，基础模型评测排第二
核心概要
递归自我改进此前只在后训练上跑通，因为那里每次试验只花GPU小时、还能拿到可验证分数；前沿预训练一次就要数十万GPU小时、无法重跑，目标也不是单一分数。上海创智学院与Xinxu AI的新团队把预训练拆成可闭合的小回路，用智能体做调试、用tiny-SFT等指标估计后训练余量、把数据流程改成可量化任务，三个月从零训练出30B-A3B的801基础模型。在13项基础评测上它平均73.13分，仅次于更大的Qwen3.5-35B-A3B的76.67分。
深度剖析
递归自我改进被搬到了前沿预训练这一环：智能体不再只改后训练，而是参与从随机初始化开始的整条预训练生产线。 公开的递归自我改进工作此前只针对后训练，起点是已有基础模型，每次试验花GPU小时并返回可验证分数；前沿预训练一次消耗数十万GPU小时、历时数月，通常只能跑一次。 两次试点分别停在1T和3T token，主训练约11.8T token；在匹配的1T token预算下，22项基准的平均分从初始试点的47.78升到修订试点的51.96，再到主训练的56.83。
做法是把无法整体闭合的预训练回路拆成三类能闭合的小回路，让每一步都有可重跑的证据。 调试回路把诊断挪到可廉价重跑的基础设施和数据栈上，以异常是否消失作为度量；余量回路用tiny-SFT（少量监督微调）、学习速率曲线和跨评测协议取最大值来估计后训练余量；经验到指标回路给分类器开发、站点发现和抓取覆盖度各设一个显式评分。 这些回路在两次试点和主训练中支撑了数据与训练配方的修订，跨基础设施、数据与配方的五项跨栈诊断约一个月内完成。
智能体同时从消费训练数据转为生产训练数据，把真实软件开发的拉取请求变成可执行、可验证的智能体轨迹。 此前的智能体数据多用于后训练，规模有限；这里要把它扩到预训练量级，并保持任务多样性与质量。 收集到的原始拉取请求中超过84%被转成可执行任务，22万个可执行PR在九个智能体框架上展开，经分层过滤得到110万条轨迹、超过100B token，加上其他来源共134B token，用于预训练的长上下文阶段。
启示与展望
已展示的范围是一次30B-A3B混合专家模型从零开始、约11.8T token、三个月的预训练，以及在此之上的轻量监督微调探针；模型以基础模型形式发布，完整后训练留给后续发布。作者表示将开源801-30B-A3B-Base与轻量SFT数据，供评估基础模型的后训练余量。
作者说明数据与配方是一起改动的，因此1T token处的分数提升反映三类回路共同支撑的迭代，而非任何单项修正；轻量SFT未用多个随机种子重复，相邻检查点的小差异需谨慎解读；智能体基准对比中，6.33B token的轻量SFT对手是完整后训练流程，作者只把它作为余量参考点而非同条件比较；优化器分配实验中每种设置只有一次训练运行。