图像生成拆成两步：先学语义再渲染，3B模型用6600 H100小时到GenEval 0.86
核心概要
视觉生成被拆成两个阶段：自回归预训练负责获取视觉知识，扩散后训练负责把知识渲染成像素。在约4亿参数的受控对比中，自回归预训练加扩散渲染的路线在GenEval上达到65.5，高于像素扩散从零训练的61.2；语义分词器无需图像解码器或重建损失也能支撑渲染。按拟合出的缩放律分配算力后，约3B参数的文生图模型用约6600 H100 GPU小时训练，在GenEval上得0.86、DPG-Bench得87.78。
深度剖析
图像生成不再让一个目标同时承担两件事，而是把高层视觉知识的获取交给自回归预训练，把像素级渲染交给扩散后训练。 此前自回归模型与潜扩散、像素扩散模型通常被当作互相竞争的范式比较，各自都要同时解决知识获取与细节渲染两个学习问题。 在最终生成器约4亿参数、累计训练图像样本数相同的条件下，自回归预训练加扩散后训练的路线在10万次后训练更新后GenEval为64.8，超过训练40万次迭代的像素扩散模型的61.2；继续后训练后达到GenEval 65.5与DPG-Bench 71.1，而直接潜扩散为GenEval 57.3、潜扩散预训练加扩散后训练为56.6。
预训练阶段该学什么，答案不是像素重建，而是语义。 常规分词器为图像重建保留低层外观，自回归表示因此被要求支持重建或独立生成图像。 重建质量更好的Recon分词器最终生成反而更低，GenEval为54.7、DPG-Bench为63.0，低于Semantic-Recon的65.5与71.1；只用语言监督训练、没有图像解码器和重建损失的Semantic-LM在后训练后达到GenEval 64.8与DPG-Bench 67.7。
两个阶段各自拟合缩放律，再据此在预训练与渲染之间分配算力。 以往缩放研究主要针对单一学习目标，分离两阶段后多出一个问题：固定算力预算下两阶段各分多少、各自如何平衡模型规模与数据。 自回归预训练律用18个模型拟合，参数规模覆盖55.71M至2.43B；后训练律用14个模型拟合，覆盖25.1M至2.03B；推导出的分配把约60%训练预算给知识获取、40%给渲染，且随总算力变化接近不变。
按缩放律选出的配方在更大规模上训练出一个约3B参数的文生图模型。 该配方把总算力预算先分给自回归预训练，再由预训练律确定骨干规模与数据量，并由后训练律确定渲染阶段的数据量。 该模型用约6600 H100 GPU小时训练，在GenEval上得0.86、DPG-Bench得87.78；在对比表中，只有Qwen-Image与Seedream 3.0报告了更高的DPG-Bench分数，其GenEval也与Qwen-Image、BLIP3o-NEXT SFT的0.87和SeFi-Image-5B的0.88接近。
启示与展望
报道的范围是文生图生成：受控对比在约4亿参数的生成器上完成，缩放律覆盖自回归预训练55.71M至2.43B参数、后训练25.1M至2.03B参数，最终验证是一个约3B参数、约6600 H100 GPU小时的模型。跨系统比较被原文限定为近似，因为文本编码器、训练数据与评测设置不同。
原文指出，后训练与从零训练的像素扩散之间的渐近损失比较评估的是整条流水线，包含预训练权重与从目标图像提取的条件 token，并未分离两者各自的贡献；渐近项只是拟合模型下的外推趋势。原文还说明，最终模型的结果表明在给定训练预算下生成质量有竞争力，但并未证明该算力分配是最优的。