递归自我改进不止于后训练:801-30B-A3B从零预训练三个月,基础模型评测排第二
递归自我改进此前只在后训练上跑通,因为那里每次试验只花GPU小时、还能拿到可验证分数;前沿预训练一次就要数十万GPU小时、无法重跑,目标也不是单一分数。上海创智学院与Xinxu AI的新团队把预训练拆成可闭合的小回路,用智能体做调试、用tiny-SFT等指标估计后训练余量、把数据流程改成可量化任务,三个月从零训练出30B-A3B的801基础模型。在13项基础评测上它平均73.13分,仅次于更大的Qwen3.5-35B-A3B的76.67分。