Dmitry Krotov

扩散模型随训练集增大从记忆训练样本转向泛化，而在这两个阶段之间，能量景观上会出现一类既不在训练集中、又在合成样本中反复出现的吸引子。把扩散模型的生成过程看作稠密联想记忆的取回，可以预测这类“伪态”在记忆容量被超过时出现；在MNIST、FASHION-MNIST、CIFAR-10与LSUN-CHURCH上，伪态样本的比例在记忆向泛化过渡的边界处先升后降，其吸引域体积介于记忆样本与泛化样本之间。

扩散模型随训练集增大从记忆训练样本转向泛化，而在这两个阶段之间，能量景观上会出现一类既不在训练集中、又在合成样本中反复出现的吸引子。把扩散模型的生成过程看作稠密联想记忆的取回，可以预测这类“伪态”在记忆容量被超过时出现；在MNIST、FASHION-MNIST、CIFAR-10与LSUN-CHURCH上，伪态样本的比例在记忆向泛化过渡的边界处先升后降，其吸引域体积介于记忆样本与泛化样本之间。