跳到主要内容
返回时间线
arXiv来源发表:

一步生成不再被小批量比例拖偏:把硬性边缘约束换成软惩罚,CIFAR-10 的 FID 从 8.10 降到 4.51

核心概要

UW-Flow 把 W-Flow 的平衡 Sinkhorn 能量换成去偏非平衡 Sinkhorn 散度,在有限小批量下降低速度场误差,并在 MNIST、CIFAR-10 与 ImageNet-100 的匹配训练预算下改善生成质量。

AI-generated editorial illustration: Unbalanced W-Flow: Unbalanced Wasserstein Drifting under Finite-Batch Marginal Fluctuations

深度剖析

一步生成模型的训练目标从必须精确匹配小批量边缘分布,改为允许传输质量随采样波动调整。 此前的 W-Flow 用平衡 Sinkhorn 散度,其耦合必须精确复现两个输入边缘分布,小批量中各模态样本比例不一致时会迫使几何上无关的区域之间发生传输。 在固定支撑与连续双模态分布上,随批量大小、模态间距和边缘松弛程度变化,非平衡传输的小批量到总体速度误差更小;在 CIFAR-10 上传输支撑为 2 时,FID 从 8.10 降到 4.51。

新方法把每个位移按传输质量加权,同时保留 W-Flow 的交叉减自项结构。 平衡传输的耦合边缘必须等于经验边缘,因此其源平均速度被经验样本均值固定,采样波动直接进入速度误差。 在 MNIST、CIFAR-10 和 ImageNet-100 上,生成器结构、优化流程与训练预算保持一致,仅替换传输目标;ImageNet-100 无条件生成 FID 从 55.25 降到 46.17。

启示与展望

稳定性比较衡量的是每个小批量速度场与其自身总体速度场的偏差,而不是非平衡与平衡总体速度之间的优劣,也不保证任意分布上生成更好。受控实验覆盖固定支撑双粒子模型与连续双高斯混合,图像实验覆盖 MNIST、CIFAR-10 和 ImageNet-100,均在匹配训练预算下进行。

稳定性比较不比较非平衡与平衡传输的总体速度,也不保证任意分布上生成更好;没有给出为特定设置选择边缘惩罚系数的方法。图像结果中类别条件生成的增益小于无条件生成,这与按类传输减少类间错配的机会一致,但这些结果并未直接测量耦合错配。