# 视觉分词器

视觉生成被拆成两个阶段：自回归预训练负责获取视觉知识，扩散后训练负责把知识渲染成像素。在约4亿参数的受控对比中，自回归预训练加扩散渲染的路线在GenEval上达到65.5，高于像素扩散从零训练的61.2；语义分词器无需图像解码器或重建损失也能支撑渲染。按拟合出的缩放律分配算力后，约3B参数的文生图模型用约6600 H100 GPU小时训练，在GenEval上得0.86、DPG-Bench得87.78。

视觉生成被拆成两个阶段：自回归预训练负责获取视觉知识，扩散后训练负责把知识渲染成像素。在约4亿参数的受控对比中，自回归预训练加扩散渲染的路线在GenEval上达到65.5，高于像素扩散从零训练的61.2；语义分词器无需图像解码器或重建损失也能支撑渲染。按拟合出的缩放律分配算力后，约3B参数的文生图模型用约6600 H100 GPU小时训练，在GenEval上得0.86、DPG-Bench得87.78。

北京大学与新加坡科技设计大学提出 DC-SAE 解耦紧凑语义自编码器，用冻结语义编码器提供生成友好的紧凑潜空间、用可训练像素编码器保留低层细节，在 32 倍空间压缩下于 ImageNet 取得 29.79 PSNR 与 3.37 gFID，较 DC-AE 在 PSNR 上提升 13.5%、gFID 上提升 54.9%，并实现 4.41 倍加速，同时一个 B 参数 DiT 在 GenEval 得 0.84、DPG-Bench 得 86.007。

北京大学与新加坡科技设计大学提出 DC-SAE 解耦紧凑语义自编码器，用冻结语义编码器提供生成友好的紧凑潜空间、用可训练像素编码器保留低层细节，在 32 倍空间压缩下于 ImageNet 取得 29.79 PSNR 与 3.37 gFID，较 DC-AE 在 PSNR 上提升 13.5%、gFID 上提升 54.9%，并实现 4.41 倍加速，同时一个 B 参数 DiT 在 GenEval 得 0.84、DPG-Bench 得 86.007。