卷积层读进去的图还能还原多少：压缩比一比深度更能预测，复制预训练奇异向量会提高还原度

卷积层输出里保留了多少它自己读入的图像内容，可以逐层量化：把该层读到的输入patch用该层权重、归一化和激活编码，再训练解码器重建这些patch，用留出集上的决定系数作为可还原度。 此前对深层网络的信息分析多测量隐表示与整张输入图像或标签之间的互信息，而互信息在深层高维特征图上难以估计且结果依赖估计器；早期分析限于小型全连接网络。 在九个ImageNet预训练卷积网络上逐层探测，可还原度从首层约1.0降到末层约0.1至0.4，MobileNetV2降幅较小（0.99到0.66），EfficientNet-B0末层反而从上一层的0.49升到0.79。

可还原度的高低主要由该层对输入的实际压缩程度决定，而不是由深度决定。 层类型由通道数、卷积核和步幅决定名义压缩比，但输入patch实际占据的方向可能远少于名义维度，因此名义压缩比会误导。 用解释98%输入patch方差的主成分数相对宽度定义有效压缩比后，可还原度随有效压缩比上升在每个架构中都下降，Spearman相关系数跨模型为负，且有效压缩比在所有模型中都比名义压缩比更能预测可还原度；ResNet50第二阶段四个patch维度、宽度和名义压缩比相同的层，可还原度分别为0.52、0.85、0.52和0.38，对应有效压缩比的低谷。

训练带来的可还原度增益并不统一，把预训练权重的单一性质搬到随机编码器上，会以一致方向改变可还原度。 预训练编码器与同形状随机编码器的差（学习归因可还原度）在13个模型中10个为负，均值从AlexNet的负值到CIFAR-10上ResNet18的正值不等，单看这个差无法说明训练改变了什么。 匹配预训练激活稀疏度在全部13个模型中降低可还原度，匹配预训练奇异值谱同样降低，匹配预训练BatchNorm参数在10个含BatchNorm的模型中9个降低；复制预训练奇异向量在13个模型中11个提高可还原度。

这项工作测量的是卷积层自身输入patch的可还原度，适用于逐层分析卷积网络的表示，读者对象是研究网络内部表示与信息瓶颈的研究人员。方法按通道数和卷积核大小扩展，因此可用于特征图很宽的深层卷积网络；在九个ImageNet预训练卷积网络以及CIFAR-10和CIFAR-100上训练的VGG16与ResNet18上完成了逐层探测。作者提出，由于patch级探测能扩展到深层卷积网络，后续工作可以在patch级使用香农信息估计器，使分析与信息瓶颈框架更贴近。

可还原度是相对于解码器的量：在存在真实瓶颈的层，更宽的解码器会继续提高可还原度，因此报告值是可还原度的下界，作者不声称它已饱和。单性质随机对照一次只改变一个性质，说明可还原度与该性质相关联，而不是该性质导致可还原度，也没有覆盖性质之间的相互作用或预训练权重的全部性质。没有任何单一对照能在所有模型上解释学习归因可还原度，八个候选对照在每个模型上都被评分，因此通过规则的对照应被读作与某种机制一致，而不是机制的证据。