跳到主要内容
返回时间线
arXiv来源发表:

遥感模型不再靠人手搭:给智能体一套数据与评分器,四个基准超过已发表最好结果

核心概要

遥感模型长期由专家为每个新任务手工设计训练方案并对着基准调参。RSI4EO把任务写成两部分:限定智能体可用数据、预训练权重与算力的harness,以及只返回分数的密封verifier;通用编码智能体据此自行写代码、训练并递归改进模型。在光学、SAR、多光谱时序等四个有公开结果的基准上,智能体建出的模型都超过已发表最好结果,且用约1%的训练标签仍保留大部分精度。

AI-generated editorial illustration: The Last Remote Sensing Model Built by Humans? Casting Any Earth Observation Task as Recursive Self-Improvement

深度剖析

遥感模型的构建方式从人工设计训练方案,改为由通用编码智能体在给定资源与评分标准下自行完成。 此前每遇到新传感器、新区域或新任务,都要由专家重新选骨干网络、设计训练配方并对着基准调参;遥感智能体此前只是调度固定的人工模型和工具,近期的智能体研究循环也只是把全监督基线提高一到三分。 在OpenEarthMap、BRIGHT、HRSID、PASTIS四个有公开结果的基准上,智能体建出的模型全部超过已发表最好结果,分别高出4.1 mIoU、2.7 mIoU、4.8 mask AP和2.6 mIoU,每个任务在四块GB200 GPU上12小时内完成。

任务被拆成harness与verifier两部分,智能体只从verifier返回的分数获得成功信号,并据此递归改进自己训练出的模型。 harness规定智能体可用的标注数据、无标注影像池、预训练编码器、软件栈和算力预算,verifier在独立容器中运行提交的完整流水线并只回传分数,验证图像与标签不进入智能体可见范围。 在OpenEarthMap仅给六块标注瓦片的运行中,智能体先借助verifier挑选编码器,再用自己最好的模型给4194块无标注瓦片打伪标签,随后连续训练八代师生模型,verifier分数从56.7升到61.9 mIoU,最后它写出脚本自动读取verifier日志、把最佳流水线提升为下一代教师。

启示与展望

演示范围是五个遥感基准上的全标签与少标签任务,其中四个有公开结果可对照,Toulouse只与harness自带的起始流水线比较;每个任务每个智能体只运行一次,作者称这是进行中的项目,正在扩大任务与智能体数量。

作者说明这是进行中的项目,正在扩大实验规模并会更新结果;Toulouse的verifier分数与隐藏测试分数差距明显大于其他基准,OpenEarthMap的验证与测试差距集中在裸地与水体两类,BRIGHT的差距主要来自毁坏类,作者将这些差距归因于验证集与测试集划分的差异。