跳到主要内容
返回时间线
arXiv来源发表:

不训练也能查遥感变化:SpotDiff把像素级特征比对压到82.46 F1

核心概要

遥感变化检测通常依赖大量跨时相、像素级标注,跨区域和跨平台难以扩展。SpotDiff把DINOv3语义特征、AnyUp像素级特征重建与SAM 3文本引导区域提议组合成免训练流程,只在提议区域内比较两期重建特征的余弦相似度。在LEVIR-CD上,ViT-7B版本达到82.46 F1,比此前最强的免训练方法高2.06个点;SECOND上建筑变化IoU提升10.3。

Source-provided article image: SpotDiff: A Plug-and-Play Framework for Zero-Shot Change Detection in Remote Sensing Imagery
arXiv

深度剖析

SpotDiff让遥感变化检测不再需要任何变化标签或微调:给定同一地区两个时相的配准影像和可选类别文本提示,它直接输出该类别的二值变化掩膜。 此前的免训练方法多依赖较粗或跨时相不一致的特征,对细小变化定位不佳;监督方法则需要大量跨时相像素级标注,跨区域、跨成像平台和跨应用领域往往难以获得。 在LEVIR-CD上,ViT-7B版SpotDiff取得82.46 F1和70.15 IoU,比OmniOVCD高2.06 F1和2.95 IoU,比AdaptOVCD高14.46 F1;ViT-L版为80.10 F1,与OmniOVCD相当。

流程把“哪里可能变”和“是否真的变”分开:分割模型只负责圈出候选对象,变化与否由两期语义特征在该对象内的平均相似度决定。 DINOv3输出的是每个16×16像素块一个向量的块级特征,直接比较会得到模糊的相似度图;AnyUp作为通用特征上采样器,借助图像引导把特征重建到像素分辨率,而此前的特征比对流程多用双线性插值。 在LEVIR-CD上,把AnyUp换成双线性插值后F1从82.46降到68.69,换成最近邻为66.88,即通用上采样器单独贡献13.8 F1;SWIMS多尺度滑窗推理在ViT-7B上把F1从61.09提升到82.46。

启示与展望

演示范围是配准后的RGB光学影像:四个公开基准的定量评测,加上PlanetScope 3米与Sentinel-2 10米影像上的定性迁移;在10米分辨率下,孤立建筑只占几个像素,被检测为小斑块,这标出了方法的实际下限。

相似度阈值是固定的,作者提出可改用基于图像统计的自适应阈值;精度依赖文本提示,四个近义提示之间F1最多相差5.9个点;区域先验对建筑这类有明确对象结构的类别帮助最大,对不透水面这类无定形类别帮助较小;多光谱与SAR输入尚未涉及。