图像生成拆成两步:先学语义再渲染,3B模型用6600 H100小时到GenEval 0.86
视觉生成被拆成两个阶段:自回归预训练负责获取视觉知识,扩散后训练负责把知识渲染成像素。在约4亿参数的受控对比中,自回归预训练加扩散渲染的路线在GenEval上达到65.5,高于像素扩散从零训练的61.2;语义分词器无需图像解码器或重建损失也能支撑渲染。按拟合出的缩放律分配算力后,约3B参数的文生图模型用约6600 H100 GPU小时训练,在GenEval上得0.86、DPG-Bench得87.78。
视觉生成被拆成两个阶段:自回归预训练负责获取视觉知识,扩散后训练负责把知识渲染成像素。在约4亿参数的受控对比中,自回归预训练加扩散渲染的路线在GenEval上达到65.5,高于像素扩散从零训练的61.2;语义分词器无需图像解码器或重建损失也能支撑渲染。按拟合出的缩放律分配算力后,约3B参数的文生图模型用约6600 H100 GPU小时训练,在GenEval上得0.86、DPG-Bench得87.78。
已读完全部报道