浑浊水下也能认出目标:扩散模型造退化样本,检测器在重度退化下仍保74.8%
核心概要
水下图像常因光衰减、颗粒散射和光照不均出现偏色、低对比与边缘模糊,而公开数据集覆盖的退化类型和强度有限。GDH-Det从真实图像提取水色、浑浊度和模糊程度作为退化条件,用条件扩散网络结合边界框掩码生成强度连续变化的退化图像,再按目标区域结构和检测可信度筛选样本。检测器训练时按分类不确定性、定位偏差和扰动响应计算样本难度并调整采样概率,在URPC2020、DUO、UODD和Brackish上mAP@0.5分别为85.3%、79.6%、66.2%和84.7%。
深度剖析
训练数据不再只来自有限水域和连续视频帧,而是按水色、浑浊度和模糊程度生成强度连续变化的退化图像,并保留原图的类别与边界框标注。 公开水下数据集通常取自有限水域或连续视频,背景相似样本多,水色、浑浊度和模糊程度的变化范围有限,固定参数处理也难以扩展退化类型和强度。 在URPC2020上,仅用真实样本训练时mAP@0.5为80.4%,加入条件扩散生成后退化样本后升至82.5%,再加入可信度筛选达到83.3%。
生成样本不是一次性并入训练集,其使用频率随训练进程和样本难度变化,低可信度的生成图像被限制出现。 此前若每个训练轮次都随机采样,已能正确识别的样本会反复占据批次,而分类模糊、定位误差大或对扰动敏感的样本训练机会不足。 在URPC2020上,加入分阶段样本调度后mAP@0.5从83.3%升至84.3%,高于Focal loss的83.7%、OHEM的83.9%和按难度重加权损失的84.0%。
退化条件本身进入多尺度特征计算,真实图像与其生成图像中同一目标区域的特征被拉近,使图像质量信息参与检测特征提取。 此前的检测方法多通过修改输入质量或检测结构来处理低质量图像,退化信息没有直接参与多尺度特征的权重分配。 在URPC2020消融中,退化感知特征把mAP@0.5从84.3%提到84.9%,再加入配对特征损失达到85.3%,比仅用真实样本的基线累计高4.9个百分点。
启示与展望
方法面向水下目标检测,在URPC2020、DUO、UODD和Brackish四个公开数据集上验证,训练、验证与测试按数据来源划分,同一视频的连续帧不跨子集。推理阶段只保留检测器,扩散生成网络不参与,单图推理18.7ms、参数量31.8M。跨数据集实验中模型仅在URPC2020上训练,直接在其他数据集上评估,不更新参数。
在96帧含强局部光照或饱和光束的图像上,GDH-Det的mAP@0.5为61.7%,低于AGW-YOLOv8的62.3%;对小于16×16像素的目标,召回率为69.8%,也略低于70.4%。退化条件由三个图像级统计量构成,对强空间光照变化敏感度有限,极小目标区域纹理信息少也削弱配对特征约束的作用。生成样本与真实样本数量比为1.5时mAP@0.5回落到84.5%,可信度阈值在四个验证集上的最优范围为0.60至0.64。
