跳到主要内容
返回时间线
arXiv来源发表:

自监督学习不再只认共享内容:给每个样本记录增强强度,坐标就能一一对上

核心概要

把每个样本的增强强度记录下来并让内容方差随强度变化,自监督学习就能把原本混在一起的内容坐标分开;dSprites 上因子对齐从 0.837 升到 0.932。

Source-provided article image: Variance Fingerprints: Component-Wise Identification of Content Factors by Augmentation Design
Figure 1 · arXiv

深度剖析

自监督学习此前只能保证把各视图共享的内容整体恢复出来,至于这个内容块内部哪个坐标对应哪个因子,理论上看不出来。 共享内容理论给出的结论是内容可被识别到一个可逆变换为止,因此把横纵位置换成和与差这类混合表示,观测分布完全一样。 在条件高斯模型下,只要内容的条件协方差在各样本间保持不变,旋转等混合就仍然满足条件独立,观测分布不变,因此这些混合无法被排除。

让每个样本的内容方差随一个记录下来的增强强度变化,不同坐标对方差的响应斜率不同,这些差异就成了区分坐标的信息。 此前的做法把识别信息寄托在数据源自身的分布变化上,这里改为由增强设计主动制造方差变化,同时保持每个样本的内容均值稳定。 在条件高斯比较类中,响应斜率两两不同的坐标可被识别到置换、缩放和平移为止;斜率相同的坐标则只能识别为一个块。

学习器用记录下来的强度把各样本的方差响应放在一起估计,因此每个样本只需很少几个视图。 若对每个样本单独估计方差,两个视图给出的估计噪声太大,无法看出响应规律。 合成实验中,视图数从四降到二时,合并估计的 Amari 误差为 0.030,而单独估计在二视图下平均比随机旋转还差。

在 dSprites 上,中等强度的方差变化让各个坐标更贴近对应的生成因子,而整体表示的预测能力基本不变。 没有强度变化时,坐标之间互相混合,非对角相关最高到 0.31,因子对齐为 0.837。 强度变化取 0.5 时,非对角相关降到 0.03 以内,因子对齐升到 0.932,五近邻块预测从 0.88 变为 0.85,说明信息仍在表示里,只是换了承载它的坐标。

启示与展望

识别保证针对条件高斯比较类,而不是训练出来的学习器;图像实验检验的是设计本身,并不满足定理的假设。dSprites 与 Shapes3D 的增强都针对已知因子,即使坐标到因子的指派是学出来的。留出样本与训练共享同一批基准和增强分布,因此检验的是新样本,而不是新的干预族或未见过的因子组合。作者提出,后续可以研究如何选择强度以获得可靠恢复,以及更丰富的自监督增强流程能提供哪些识别信息。

图像实验与定理假设存在多处偏离:内容分布可能退化,未被增强针对的源因子在样本内恒定,编码器的非线性响应、裁剪与重采样都可能破坏理想的方差规律。dSprites 的缩放增强绕图像中心而非绕图形中心施加,因此位置协方差既非严格对角也非严格对数仿射。强度变化取 1 时对齐与块预测都明显变差,而该设置同时把期望平方位移放大约四倍,因此无法把强度变化本身与位移变大分开。Shapes3D 上连续色相的两坐标表示落在一条曲线上,并不满足定理的高斯设定,分组结果只是选择性的、不完美的。