arXiv来源发表:
生成模型不再靠反向传播:平衡传播把CIFAR-10的FID做到3.64,逼近反向传播的3.54
核心概要
一种无反向传播的训练路径在CIFAR-10无条件生成上把FID做到3.64,与反向传播的3.54接近,并首次让平衡传播训出CIFAR规模的生成模型。
深度剖析
生成模型可以完全靠物理松弛来采样,而不必逐步积分速度场。 扩散与流匹配模型通常要顺序积分数百步,这种计算不适合GPU,却适合模拟神经形态硬件。 把用反向传播训练好的能量匹配模型原样载入该网络后,仅靠松弛采样,在CIFAR-10与ImageNet-32规模上FID与原模型相差不超过0.04。
训练也可以不依赖反向传播,参数更新几乎与反向传播一致。 反向传播需要全局梯度传输,在模拟硬件上难以实现。 平衡传播复现反向传播参数更新的余弦相似度为0.9998,用这些更新端到端训练在无条件CIFAR-10上达到FID 3.64,反向传播为3.54。
达到这一质量不需要组归一化或注意力。 常见高质量生成架构往往依赖组归一化与注意力等模块。 仅由卷积和逐点非线性组成的架构,两者都适合模拟交叉阵列,用反向传播训练时FID为3.51。
启示与展望
该结果面向CIFAR-10与ImageNet-32规模的图像生成,读者是关注生成模型训练规则与模拟硬件适配的研究人员。材料说明该网络可载入已训练好的能量匹配模型并仅靠松弛采样,也说明可用平衡传播端到端训练;是否扩展到更大规模或真实模拟硬件,材料未给出下一步安排。
材料以摘要形式给出,未说明训练成本、硬件实测或更大规模数据上的表现。所报告的FID与余弦相似度对应CIFAR-10与ImageNet-32规模,属于该设置下的结果。
