跳到主要内容
返回时间线
arXiv来源发表:

卫星影像的独立样本远少于像素数:相关范围决定有效样本量,随机留出会高估精度

导语

对空间相关范围约为 r 像素的遥感影像,分类器可用的独立样本量约为 n/r² 而非像素数 n,这一速率被上下界同时锁定,并解释了随机留出为何高估精度。

Source-provided article image: How Many Independent Samples Does a Satellite Image Contain? Generalization Bounds for Spatially Dependent Data
Fig. 1 · arXiv

正文

遥感影像的相邻像素携带重复信息,因此一张名义上有 n 个标注像素的影像,其真正独立的样本量约为 n/r²,其中 r 是空间相关持续的距离(相关范围)。 此前的学习理论保证假设样本独立同分布,直接按像素数计算误差界,因而在空间自相关影像上不成立。 在合成数据与三个传感器(Landsat 8、Sentinel-2、Sentinel-1)的卫星影像瓦片上,实测有效样本量随分块尺寸呈幂律下降,斜率与理论预测一致,且有效样本量通常比像素数小一到三个数量级。

做法是把影像切成小块、块间留出与相关范围同量级的间隔,使各块近似独立,再对块做标准集中不等式。 直接对相关像素套用独立样本的集中不等式会低估误差,而间隔过宽又会浪费像素、减少可用块数。 证明在二维混合随机场上给出有限样本上界,并用匹配的极小极大下界说明该速率在忽略对数因子意义下是紧的,任何算法都无法做得更好。

接下来

下一步可把该分块论证用到时空格点:空间相关范围与时间相关范围同时进入有效样本量,从而量化每次重访带来的边际信息。对做土地覆盖制图与精度评估的团队,可直接按分层相关范围计算有效样本量、按相关范围设置交叉验证折的间隔,并用它替换名义样本量来报告置信区间。

界是最坏情况且保守,常数与对数因子未优化,关键价值在缩放关系与交叉验证指导而非紧常数。相关范围需从经验变差函数估计,且界由损失场的混合速率驱动,而实测变差函数算在原始特征上,两者未必一致;当类内变异较小时特征范围会高估损失场的相关范围,使有效样本量偏保守。标签噪声在给定特征下条件独立的假设,对具有空间标签结构的任务(如分割)是否仍成立,尚待检验。

来源