跳到主要内容
返回时间线
arXiv来源发表:

无人机小目标分割不再只靠生成:DroneSegEdit 加语言核验,RIS-LAD 上 mIoU 达 52.78

核心概要

无人机航拍里,被指代的目标常常只占几十个像素,还挤在一群外观相似的车辆或行人中,生成式编辑器能画出轮廓却可能选错实例。DroneSegEdit 冻结开源的 LongCat-Image-Edit,只训练轻量 LoRA 渲染候选区域,再用语言锚定的空间核验器在候选内部剔除与指代表达不符的前景。在 RIS-LAD 完整官方测试集上,它取得 52.78 mIoU,比此前最好的 ReSaP-8B 高 7.16 点;在 UAVid-RIS 与 VDD-RIS 上整体保持竞争力,车辆、行人等紧凑类别的提升最明显。

Source-provided article image: DroneSegEdit: Adapting Pretrained Generative Editors for UAV Segmentation with Language-Grounded Verification
arXiv

深度剖析

语言引导的无人机分割现在可以沿用预训练图像编辑器的 RGB 输出接口,而不必另建一套判别式分割解码器。 此前的指代分割多依赖跨模态解码器,或先做多模态推理再交给可提示分割模型;直接套用生成式编辑器时,画出的掩码看似合理,却可能落在小目标、重复目标中的错误实例上。 在 RIS-LAD 完整官方测试集上,DroneSegEdit 达到 52.78 mIoU 和 54.01 oIoU,比同一编辑器直接生成的配对结果高 5.42 和 6.92 点,比 ReSaP-8B 高 7.16 和 0.57 点。

做法是把“画出来”和“选哪个”拆成两步:编辑器负责给出候选几何,语言证据只在候选内部决定保留哪些前景。 语言锚定的空间核验器(LGSV)读取冻结的 Qwen2.5-VL 主干四个层级的隐状态,把指代表达对应的 token 汇成条件,再经 FiLM 调制视觉网格,得到一张粗粒度的语言支持图。 核验被约束在渲染候选之内,只删不加;在 RIS-LAD 上它把精度从 52.93 提到 62.10,召回仅从 81.04 变为 80.57,预测与真值的面积比从 1.531 降到 1.297。

同一套 RGB 接口还能扩展到整景解析,用一条任务级指令一次渲染全部类别。 稠密 VDD 适配器不接收逐类名称或调色板颜色,类别与颜色的对应关系由成对的 RGB 目标在 LoRA 微调中学到。 在官方 280/80/40 划分上,该无核验器版本取得 80.96 mIoU,在匹配分辨率的对比中仅次于 UPerNet–Swin-L 的 82.17。

启示与展望

实验覆盖 RIS-LAD、UAVid-RIS、VDD-RIS 三个指代基准和 VDD 稠密解析,均按各自官方训练与评测协议独立训练适配器,检查点与决策阈值只在验证集上选定;面向的读者是无人机视觉与生成式分割方向的研究者。

核验受候选约束,无法找回编辑器漏掉的目标,也难以可靠区分证据难以分辨的候选;在 VDD-RIS 上其 oIoU 比 AeroReformer 低 3.80 点,P@0.9 相对原始编辑器从 44.65 降到 41.33,作者也把颜色碰撞、粗粒度证据和降分辨率稠密评测列为局限。