跳到主要内容
返回时间线
researchsquare.com来源发表:

坑洞检测高分有多少来自见过的路:按视频重划后,同一检测器AP50从0.619降到0.467

核心概要

公开道路缺陷数据集BharatPotHole的发布划分存在训练—测试重叠:38.8%的测试图像在训练集中有近重复,99.4%的测试图像来自训练用过的视频。按视频去重重新划分后,同一YOLO26n检测器在正样本测试图像上的AP50从发布测试集的0.619降到无近重复子集的0.467,配对差0.152(95%置信区间0.090–0.234)。在受控污染试验中,把未见测试图像换成训练帧副本可把视频隔离模型的AP50从0.133抬到0.494,而换成未见帧副本时仍接近0.15。

Source-provided article image: Train–Test Leakage in Pothole Detection Benchmarks: Evidence from a Video-Disjoint Re-Split of BharatPotHole
researchsquare.com

深度剖析

公开坑洞检测基准BharatPotHole的发布划分让测试图像与训练图像高度相关,检测分数因此部分反映对已见场景的识别。 此前该数据集只报告检测器性能,未报告重复规模与训练—测试重叠程度,也未比较不同划分协议下的检测表现。 对全部7,074张发布图像做审计:86张为精确重复、2,769张为其他帧的导出副本,合计40.4%;4,196张正样本图像中只有1,333张是唯一帧;发布划分中38.8%的测试图像在训练集中有近重复,99.4%来自训练用过的视频。

同一检测器在去掉近重复的测试子集上分数明显下降,说明发布划分下的高分有一部分来自泄漏。 比较固定模型、固定权重与固定训练数据,只更换测试图像,因此差异与近重复和共享源帧相关。 YOLO26n在发布协议下,正样本图像AP50为0.619(发布测试集)、0.739(泄漏子集)、0.467(无近重复子集),发布测试集与无近重复子集的配对差为0.152(95%置信区间0.090–0.234),相对差33%;在五种无近重复子集定义下差值落在0.152–0.174。

受控污染试验直接显示,训练来源的副本能把未见测试集上的检测分数抬高数倍。 视频隔离模型未见过任何C-test图像或视频,替换图像保留各自的导出标注,负样本数量不变。 替换比例ρ=100%时,YOLO26n的AP50从0.133升到0.494±0.024,YOLO26s从0.135升到0.436±0.030;作为匹配对照,换成未见C-test帧副本时两者分别为0.149和0.150。

发布划分下的内部高分没有转化为其他道路上的更好检测。 发布协议模型训练图像更多,但在外部正样本图像上分数更低。 在RDD2022印度子集的1,530张正样本图像上,发布划分训练的模型AP50为0.072(95%置信区间0.062–0.085),视频隔离划分训练的模型为0.099(0.087–0.113)和0.097(0.086–0.110),区间不重叠。

启示与展望

结论建立在BharatPotHole一个数据集和YOLO26n、YOLO26s两个检测器上,每个模型只用一个随机种子训练;泄漏机制不依赖具体检测器,但差值大小会随数据集、架构与训练流程变化。同模型比较只针对YOLO26n,且未做训练集规模匹配的协议A与协议C比较。

发布测试集与无近重复子集的差被报告为观测到的差距,而非泄漏的总因果效应,因为两个子集在构成上不同,且共享视频的影响在两者中同时存在。C-test只含来自9个视频的134张正样本图像,其中一个视频贡献57张,置信区间较宽。RDD-India只含正样本图像,且与BharatPotHole在图像尺寸、模糊和物体尺度上不同,其结果同时反映域偏移与训练差异。标注不一致未被修正,会压低所有绝对数值。