残余谱不稳定性理论解释了VAE潜变量逐维坍缩的级联现象
核心概要
该研究把变分自编码器中逐维后验坍缩表述为部分坍缩态附近的涨落理论：将负ELBO视为有效自由能，其二次展开的Hessian充当质量矩阵，坍缩方向构成不变涨落扇区，其精确质量谱由条件残余算子给出；当解码器方差低于残余谱上边缘时，局部再激活方向会降低自由能，等号对应临界点，该判据在训练实验中与潜维度逐个丢失的位置相符。
Figure 1: Spectral cascade of dimension-wise posterior collapse. (a) Number of active latent dimensions | A | |A| and (b) mean posterior variances ⟨ σ j 2 ⟩ 𝒙 \left<\sigma_{j}^{2}\right>_{\bm{x}} versus decoder variance σ ′ 2 \sigma^{\prime 2} , showing showing successive loss of individual latent dimensions. (c) Estimated leading residual eigenvalue Λ ^ ∗ ( A ) \hat{\Lambda}_{*}^{(A)} , and the dashed line denotes the marginality condition σ ′ 2 = Λ ^ ∗ ( A ) \sigma^{\prime 2}=\hat{\Lambda}_{*}^{(A)} . (d) Estimated spectral stability margin σ ′ 2 − Λ ^ ∗ ( A ) \sigma^{\prime 2}-\hat{\Lambda}_{*}^{(A)} , which controls the sign of the lowest squared masses of the collapsed sector.
arXiv深度剖析
作者把负证据下界当作有效自由能，在部分坍缩的平稳态附近做二次展开，得到高斯涨落理论，其中Hessian的特征值扮演潜变量涨落的平方质量。 以往对后验坍缩的分析多集中在完全坍缩态，其局部稳定性由数据协方差矩阵的最大特征值控制；这里把分析对象换成只坍缩了一部分坐标的中间态。 推导在正文与补充材料中给出，包含平稳方程、二阶变分以及Hessian的显式分块。
与坍缩潜方向相关的涨落构成Hessian的一个不变扇区，其稳定性由条件残余算子决定，该算子的Gram算子谱即残余谱。 稳定性判据不再只依赖原始数据协方差谱，而是依赖当前活跃表示尚未解释的残余涨落的条件相关结构。 文中给出精确的扇区分离式，并用Hermite模式展开说明第一模式耦合后验均值、第二模式耦合后验方差，其余模式严格有质量。
当解码器方差低于残余谱上边缘时，存在耦合编码器与解码器场的局部再激活方向使自由能下降，等号标记临界性；该判据在完全坍缩极限下退化为已知的协方差阈值，在线性高斯VAE极限下退化为主成分阈值。 把完全坍缩的协方差判据纳入一个更一般的层级，并给出部分坍缩态下逐维再激活的局部判据。 判据由平方质量表达式推出，并在补充材料中通过线性高斯VAE的显式求解与已有主成分阈值对照。
数值延拓实验在8维合成高斯混合数据、4维潜空间上观察到有效活跃维度从4逐步降到0，各坐标后验方差在不同控制参数处先后趋近先验值，且估计的残余谱上边缘在每次维度丢失附近接近临界条件。 把理论上的谱临界性与非线性VAE中实际发生的逐维坍缩事件对应起来，并额外用固定背景上的曲率扫描检验预测的耦合模式方向。 实验使用单一训练种子，谱估计通过多组采样规模外推并给出采样波动；曲率扫描在固定投影背景上进行，作者指出有限数据与近似平稳性限制该比较。
启示与展望
该结果适用于高斯VAE在指定平稳背景附近的二次涨落分析，直接给出的是坍缩扇区负曲率出现的判据。对希望理解或诊断后验坍缩的研究者，它提供了一个可计算的局部稳定性条件：在连续分支连接的假设下，反向穿过临界点对应一个活跃潜字段的消失。线性高斯VAE极限下判据化为主成分阈值，完全坍缩极限下化为协方差阈值，因此可作为已有阈值的推广来使用。
分析限于有效自由能的二次展开，属于自由的高斯涨落理论；实现哪些背景、每次转变涉及多少字段以及是否存在不连续的分支变化，取决于全局自由能景观、非线性涨落项与演化动力学。残余算子依赖满足含高维积分非线性自洽方程的平稳编码器与解码器，除线性高斯等特殊极限外一般无法仅用简单数据统计表达。数值部分使用单一训练种子与合成数据，谱估计依赖采样外推，曲率扫描在固定投影背景上进行，这些都会影响与理论临界点的接近程度。