扩散模型走向泛化前先长出“伪态”：训练集里没有，合成集里却反复出现
核心概要
扩散模型随训练集增大从记忆训练样本转向泛化，而在这两个阶段之间，能量景观上会出现一类既不在训练集中、又在合成样本中反复出现的吸引子。把扩散模型的生成过程看作稠密联想记忆的取回，可以预测这类“伪态”在记忆容量被超过时出现；在MNIST、FASHION-MNIST、CIFAR-10与LSUN-CHURCH上，伪态样本的比例在记忆向泛化过渡的边界处先升后降，其吸引域体积介于记忆样本与泛化样本之间。
深度剖析
扩散模型在训练集由小变大时，会经过一个此前少被单独描述的中间阶段：生成样本既不是训练图像的复制，也不属于平坦流形上的全新样本，而是落在能量景观上新形成的吸引子底部。 以往对记忆到泛化过渡的研究多从泛化一侧入手，把记忆视为可通过大幅增加训练数据缓解的小副作用，中间过渡区没有被单独刻画。 在MNIST、FASHION-MNIST、CIFAR-10和降采样LSUN-CHURCH上，每个数据集训练了38个不同数据规模的DDPM，最小模型只用2个训练点，最大模型用完整训练集，每个模型的合成集规模是其训练集的4倍。
这类中间样本被归为“伪态”：它们在合成集中有精确重复，说明周围存在明确的吸引域，但在训练集中找不到对应图像。 伪态在联想记忆文献中本是妨碍取回的负面产物，在这里则被读作生成能力出现的最早迹象。 按到训练集最近邻距离和到合成集最近邻距离两个双峰直方图设定阈值，把每个生成样本判为记忆、伪态或泛化；伪态比例随训练集增大先升后降，峰值落在记忆与泛化的交界处。
三类样本在能量景观上的差别可以用吸引域体积和能量曲率分开：记忆样本的吸引域对数体积最大，伪态次之，泛化样本接近零。 这与此前把记忆与泛化简单二分、只看复制比例的做法不同，给出了三类状态各自的几何量。 吸引域体积由反向过程仍能恢复目标样本的最晚时刻所定半径计算；对得分函数雅可比做奇异值分解，在MNIST和LSUN-CHURCH上记忆、伪态、泛化样本在最小奇异值区域出现分离，训练点处的曲率随训练集增大整体下降。
在二维玩具模型中可以直接看到能量景观的演化：训练点位于单位圆上时，K=2对应记忆，K=9首次出现伪态，K=1000时低能态连成平坦流形。 高维自然数据集难以直接可视化能量，这一可控设置把记忆、伪态、泛化三个阶段分开呈现。 该模型使用方差爆炸型随机微分方程的扩散流程，并与K趋于无穷时由修正贝塞尔函数给出的解析能量形式对照。
启示与展望
结论建立在标准得分匹配训练的扩散模型上，覆盖MNIST、FASHION-MNIST、CIFAR-10、降采样LSUN-CHURCH四个数据集以及一个单位圆上的二维玩具模型；Stable Diffusion上的分析只涉及少量提示词和生成样本，属于定性对照。作者提出，若伪态在训练中变得普遍，可考虑停止训练或补充数据，也可在得分网络结构或损失中加入惩罚高曲率的正则项，但这些只是未来方向。
理论推导假设得分网络足够大、训练足够久，能够学到加噪后的经验分布，并且生成过程终止在很小的非零时刻；实际网络的规模有限，前馈网络也不保证输出是某个标量能量的梯度。作者明确表示没有证明伪态是泛化的因果驱动，只认为观测的汇合使这一解释合理；曲率谱的分离也并非在所有训练集规模上都清晰可见。训练时长与早停对伪态出现的影响未纳入考察。