FairRSFM用生物群系分组评测三款遥感基础模型,发现总体指标掩盖了生态区域间的性能落差
相关研究与后续进展核心概要
作者提出FairRSFM,把四个遥感下游数据集(m-EuroSAT、m-BigEarthNet、m-SA-Crop-Type、MMEarth20K)的地理坐标样本映射到14类陆地生物群系并归并为六个宏观组,在冻结骨干的统一协议下用三个随机种子评测Prithvi-EO-2.0、SatMAE与DOFA,结果显示总体指标一致地掩盖了生物群系相关的性能差异,例如Prithvi-EO-2.0在m-EuroSAT上总体macro-F1较高而最差组分数明显更低,并比较了BOLP、DBR与GroupDRO三种缓解基线,其效果随模型与任务而异。
深度剖析
论文构建了FairRSFM,一个以生物群系为分组的遥感基础模型鲁棒性基准与去偏框架,覆盖分类与语义分割两类任务共四个数据集。 既有遥感基准(如GEO-Bench)主要在数据集层面汇总性能,FairRSFM把标准迁移评测转化为按生态分组的组鲁棒性问题,追问模型是否在不同生物群系间表现一致。 基准包含m-EuroSAT、m-BigEarthNet、m-SA-Crop-Type与MMEarth20K,均提供公开地理坐标以支持可复现的生物群系指派;MMEarth20K由MMEarth构建2万样本子集并配Dynamic World标签图,按逆频率配额在14个生物群系间均匀分配。
论文提出两级生物群系标注流程:先把地理坐标样本指派到14类陆地生物群系,再归并为六个反映光谱、物候、水文、冰冻圈与地表属性的宏观组。 直接使用14类作为主评测组在覆盖不均的数据集上不稳定,宏观组通过合并欠代表生物群系降低稀疏性,同时保留14类标签用于细粒度分析。 映射为确定性规则,在所有数据集、模型与缓解方法间固定;未知、纯水体或未匹配样本被排除在主分组汇总之外;补充材料报告质心与多数像元两种空间连接在四个数据集上的一致率很高。
在冻结骨干的统一协议下,三款模型在四个数据集上均表现出总体性能掩盖生物群系相关差异的现象。 该结果把生态组鲁棒性作为独立于平均精度的评测维度,说明高总体分数不能代表跨生态区域的一致可靠性。 使用Prithvi-EO-2.0、SatMAE与DOFA三个骨干、三个随机种子,报告总体指标与最差组分数、归一化失败范围、ECE、EOdd、DPM;例如Prithvi-EO-2.0在m-EuroSAT上总体macro-F1较高而最差组分数明显更低,m-SA-Crop-Type在Xeric and Mineralogical组上的mIoU明显低于总体。
论文比较了BOLP、DBR与GroupDRO三种缓解基线,发现最差组鲁棒性的改善随模型与任务而异,并可能与总体性能存在权衡。 BOLP在冻结表征空间中以闭式投影去除主导的生物群系相关方向,不更新骨干、不增加可训练参数,为表征层面的生态去偏提供了可复用做法。 在Prithvi-EO-2.0的m-BigEarthNet上,BOLP在不更新骨干的前提下同时提升总体F1@opt与最差组F1@opt并降低NFR;而在MMEarth20K等稠密分割任务上,BOLP会同时降低总体与最差组表现,GroupDRO则提升最差组分数,说明没有单一策略在所有架构与任务上占优。
启示与展望
该工作面向使用冻结骨干做下游迁移评测的遥感基础模型研究者与工程实践者,适用于带地理坐标、可做生物群系指派的分类与稠密分割数据集;其诊断与缓解结论在论文所设的四个数据集、三个骨干与统一冻结骨干协议下成立,缓解方法的效果需按模型与任务分别解读。
生物群系标签按样本坐标在像元级别指派,在生物群系边界或多生物群系瓦片上可能带有噪声,论文将其视为一致的分组规则而非精确生态图;各数据集覆盖的宏观组数量不同,最差组与差异指标只在各划分中匹配到的组上计算,小样本组(如14–25个测试样本)会增大抽样波动;研究覆盖三个骨干与四个数据集,更广的传感器家族、更多骨干与宏观组数量的敏感性分析仍是开放方向;分割任务的生态组差异指标标准化程度低于分类;生物群系分组只刻画地理偏差的一个空间维度,传感器与来源漂移、地理不均衡、空间分辨率差异、时序获取效应与影像覆盖不均等并未被完全涵盖。
