少步数文生图补上特征矩约束:Z-Image-Turbo 两次评估中文长文本达94.25%
核心概要
少步数文生图要在极少采样次数里把提示中的细节画准,而分布匹配蒸馏(DMD)依赖学习到的分数差,统计量未必对齐。Intrinsic Distribution Matching 在保留完整 DMD 修正的同时,用生成器指数滑动平均副本的特征均值与逐坐标标准差加了一项矩约束,不需要外部特征编码器。在 Z-Image-Turbo 6B 上两次网络评估时,中文与英文 LongText-Bench 分别达到 94.25% 和 90.20%,为所比较方法中该预算下的最高分。
深度剖析
少步数文生图多了一项来自生成器自身的统计约束:除原有的分数差监督外,训练还显式对齐生成样本与参考样本在生成器特征空间中的均值和逐坐标标准差。 此前的内部 DMD 做法只靠学习到的分数差引导生成分布,统计量是否对齐没有单独约束;引入外部编码器或教师特征的做法则要额外网络提供特征。 在共享训练配置下,去掉矩损失的对照在 Z-Image 全参数、两次网络评估时 GenEval 为 77.46,加上后为 77.81,LongText-CN 从 93.87 升到 94.25,LongText-EN 从 89.79 升到 90.20,五项汇总指标均有提升。
矩约束所用的特征来自生成器自身的指数滑动平均副本,因此分数估计和特征提取共用同一个模型。 对照方案分别使用 DINOv2 外部编码器、教师特征和实时自特征来提供特征。 同一无矩损失对照下,DINOv2 把 GenEval 提到 77.75,生成器 EMA 特征达到 77.81,两者 LongText-CN 分别为 94.13 和 94.25,说明不引入外部编码器也能获得相近的矩监督。
在 Z-Image-Turbo 6B 与 Qwen-Image 20B 上,全参数和低秩适配两种调参方式都完成了训练与评估。 此前的内部 DMD 路线以速度分支差替代独立假分数网络,但没有在生成器特征上再加跨样本统计目标。 两次网络评估时,全参数 IDM 在 Z-Image 上 GenEval 为 0.78、FID 为 6.71,在 Qwen-Image 上 GenEval 为 0.91、FID 为 6.34;同设置下 APEX 的 GenEval 为 0.90、FID 为 6.44,延迟分别为 0.44 秒和 0.45 秒。
启示与展望
评估覆盖 Z-Image-Turbo 6B 与 Qwen-Image 20B 两个骨干,采用全参数以及秩 32、秩 64 的 LoRA 调参,并在 1 次和 2 次网络评估下报告结果;长文本能力由 LongText-CN 与 LongText-EN 衡量,通用质量与提示遵循由 GenEval、FID、CLIP、DPG-Bench、WISE 和 OneIG 衡量。
矩损失只匹配池化后的特征均值和逐坐标标准差,并不匹配完整特征分布,也不估计样本空间的高斯成分或残差成分;队列中的特征来自较早的模型与 EMA 状态,因此矩只是对当前总体统计的近似。消融还显示,去掉 DMD 损失带来的 GenEval 下降为 0.91 点,大于去掉矩匹配的 0.35 点,说明分数修正仍是主体。
