跳到主要内容
返回时间线
arXiv来源发表:

地球嵌入不再是一团混在一起的维度:稀疏自编码器拆出可命名的地理特征,但随机字典也能拿到部分分数

核心概要

地球观测基础模型(如 AlphaEarth、Tessera)把每个 10 米像素压成一个稠密向量,其中单个维度往往混合多种地表概念。稀疏自编码器把这种向量展开到过完备字典上,只让少数原子激活,从而得到近似单义的稀疏特征。在匹配稀疏度下,三种稀疏自编码器变体的重建都优于主成分分析、独立成分分析、非负矩阵分解和原始维度;但一个解码器冻结为随机字典的对照同样表现出特征更专一、空间尺度更细,说明这两点来自稀疏性本身,只有学习到的字典才把 AlphaEarth 的未解释方差降到八分之一。

Source-provided article image: Decomposing Earth Embeddings with Sparse Autoencoders
arXiv

深度剖析

地球嵌入可以被拆成一组稀疏、近似单义的地理特征,每个特征对应一个人类可命名的地表概念,而不是像原始维度那样把多个无关概念混在一起。 此前这类嵌入基本不透明:内在维度远低于向量长度,少数维度与特定地表属性相关,但大多数维度混合若干概念,这既妨碍解释,也让分布偏移下的稳健性难以评估。 在 AlphaEarth 上,Matryoshka 稀疏自编码器的活跃特征中,绝大多数最多只与一个概念组对齐,其中一部分恰好对齐一个、其余一个都不对齐;而原始维度对齐的概念组中位数为多个,主成分分量同样如此,说明仅旋转坐标并不能消除多义性。

稀疏编码把嵌入的方差分散到更细的空间尺度上,使田块、道路这类高频变化有专门的特征来承载。 原始维度和主成分、独立成分、非负矩阵分解分量的相关长度中位数在数十到上百公里量级,主要在大范围之间变化,细尺度变化被大尺度变化淹没。 AlphaEarth 上稀疏自编码器特征的相关长度中位数为数公里到十余公里,单个 320 像素图块内的方差占比也明显高于原始维度;不过解码器冻结的随机字典对照在尺度分布上同样分散,因此这一性质来自稀疏性而非学到的字典。

只有学习到的字典才能准确重建嵌入,这是稀疏自编码器相对随机字典对照的真正增益所在。 随机字典对照因为能在随机原子里挑选,已经比前若干个主成分解释更多 AlphaEarth 方差,所以单看可解释性分数无法区分它和训练过的模型。 在匹配的每像素活跃特征数下,三种稀疏自编码器变体在 AlphaEarth 和 Tessera 上都优于所有基线;在 AlphaEarth 上,训练过的稀疏自编码器留下的未解释方差比随机解码器对照少八倍。

稀疏特征在两个应用上显示出可能性:在粗粒度土地覆盖类内部发现子概念,以及用适用域估计标记分布外像素。 这两项此前都不是稀疏编码的常规用途,且现有做法依赖稠密表示中的距离,维度混合概念时可能把真正无关的像素判得很近。 三个手工挑选的 Matryoshka 特征分别集中在热带雨林、热半干旱和亚寒带气候带;在冠层高度目标上,BatchTopK 编码中的岭加权距离在多数留出折上比原始距离更好地排序误差,但对高程目标没有帮助,且 AlphaEarth 上未训练的随机稀疏编码获得同等增益。

启示与展望

实验在 AlphaEarth 与 Tessera 两个逐像素地球嵌入上进行,样本取自 MajorTOM 网格的 320 像素图块,所有数字报告在测试图块上;评测协议本身设计为适用于任意稀疏自编码器,代码与数据配方已公开。

概念对齐计数与空间尺度这类单特征统计量无法区分训练过的稀疏自编码器与冻结随机解码器,因此不能单独作为字典学到了有意义特征的证据;适用域估计只针对协变量偏移,且留出折是合成的,是否有效需按目标逐一用留出误差检验。