跳到主要内容
返回时间线
arXiv来源发表:

密集小目标检测不再猜查询数:BUTR用编码器置信度定预算,AI-TOD-v2上35.7 AP、平均316个查询

核心概要

密集小目标检测里,动态查询此前把“解码多少查询”和“保留哪些查询”混在一起,难以判断收益来源。BUTR把动态查询还原为按目标密度分配解码器查询预算:用编码器提案置信度之和作为密度代理,经线性映射得到每张图的查询数,仍沿用标准Top-k初始化,不增加学习模块或启发式筛选。在AI-TOD-v2上,BUTR-L取得35.7 AP、平均316个查询,同规模D-FINE-L为35.2 AP、600个查询。

Source-provided article image: Dynamic Query as Budgeting for Tiny Object Detection
arXiv

深度剖析

密集小目标检测中,解码器查询数改为随图像密度逐图变化,而不再对所有图像使用同一个固定值。 固定查询预算对大多数稀疏航拍图像够用,但对少数含数百个实例的拥挤图像可能不足;统一加大预算又会给稀疏图像带来额外开销和更多误检。 在AI-TOD-v2上,BUTR-L取得35.7 AP,同规模固定查询的D-FINE-L为35.2 AP,而BUTR-L平均只用316个查询,D-FINE-L用600个。

查询预算由编码器已有的提案置信度直接算出,不需要额外的学习预测器或筛选流程。 此前的动态查询方法要么用学习到的密度图加分类器选择预设预算档,要么用学习到的窗口掩码加启发式过滤保留查询。 预算器把每个提案的最大sigmoid类别置信度求和作为密度代理,再乘以安全系数得到查询数;该代理与真实目标数的相关性在AI-TOD-v2上Pearson为0.86、Spearman为0.85,在VisDrone上分别为0.82和0.81。

在密度较轻的VisDrone上,同一预算规则仍带来小幅精度提升。 VisDrone的密度长尾比AI-TOD-v2弱,按预算视角预期动态查询的收益更小。 BUTR-L在VisDrone上取得29.8 AP,同规模D-FINE-L为29.6 AP,BUTR-L平均398个查询、D-FINE-L为400个。

启示与展望

演示范围是AI-TOD-v2与VisDrone两个航拍小目标基准,外加高粱籽粒计数数据和COCO上的推理期插件实验;读者对象是设计两阶段DETR查询初始化的检测研究者与部署工程师。

预算信号依赖置信度的数值尺度,分数校准、提案数量或域变化可能影响分配,即使排序不变;拥挤商品、细胞或颗粒图像等密集场景尚待评估;当前TensorRT部署下动态预算还带来同步与引擎边界开销,查询更少不一定延迟更低;高密度子集图像很少,AI-TOD-v2为26张、VisDrone为7张,其AP对测试样本组成敏感。