扩散模型走向泛化前先长出“伪态”:训练集里没有,合成集里却反复出现
扩散模型随训练集增大从记忆训练样本转向泛化,而在这两个阶段之间,能量景观上会出现一类既不在训练集中、又在合成样本中反复出现的吸引子。把扩散模型的生成过程看作稠密联想记忆的取回,可以预测这类“伪态”在记忆容量被超过时出现;在MNIST、FASHION-MNIST、CIFAR-10与LSUN-CHURCH上,伪态样本的比例在记忆向泛化过渡的边界处先升后降,其吸引域体积介于记忆样本与泛化样本之间。
扩散模型随训练集增大从记忆训练样本转向泛化,而在这两个阶段之间,能量景观上会出现一类既不在训练集中、又在合成样本中反复出现的吸引子。把扩散模型的生成过程看作稠密联想记忆的取回,可以预测这类“伪态”在记忆容量被超过时出现;在MNIST、FASHION-MNIST、CIFAR-10与LSUN-CHURCH上,伪态样本的比例在记忆向泛化过渡的边界处先升后降,其吸引域体积介于记忆样本与泛化样本之间。
作者为 log-sum-ReLU 稠密联想记忆(LSR-DAM)提出首个差分隐私检索机制 BRACE:它先识别因隐私噪声而改变归属的记忆点并做自适应边界修正,再注入校准噪声,从而抑制紧凑支撑检索中边界切换导致的误差累积;理论上证明其终端与全轨迹检索误差达到极小极大最优,并给出刻画隐私噪声贡献的轨迹中心极限定理;合成实验显示微小扰动即可改变 11 个门成员,MNIST 检索中预测 MSE 由损坏输入的 0.061 降至 0.011,接近无噪声检索。
已读完全部报道