测试集缺了夜间样本,评测就会选错模型:把白天图改成夜间图补进测试集,选型结论回到与完整数据一致
核心概要
在测试与评估中,若测试集缺少夜间这类关键语义条件,模型选型会被误导;一套生成式流程用视觉语言模型找出缺失语义、用扩散模型把白天图改造成夜间图补进测试集,使选型结论与完整覆盖的数据集一致。
深度剖析
测试集里缺失的语义条件可以被自动找出来并补上,从而让模型选型不再被覆盖缺口带偏。 此前评测者只拿到一份留出的测试集,既不知道训练数据,也不知道它的语义构成;若夜间这类条件在测试集中样本过少,评测结论就会失真。 在Caltech Camera Traps图像分类和BDD100k目标检测上,补入合成夜间图后,测试集把只在白天训练过的模型与白天加夜间训练过的模型区分开来,结论与完整覆盖的理想测试集一致。
流程分三步:先给图像打语义标签并筛出真正影响模型行为的语义,再把已有图像改造成缺失语义,最后用嵌入统计确认补入是否有效。 语义标签由视觉语言模型做零样本二值判断,即用图像与文本描述在共享嵌入空间中的余弦相似度决定归属,无需人工标注;重要性则用k-means聚类后的簇召回率衡量,即某一语义的样本有多大比例落在同一个簇里。 在CCT上,964张图中预测出99张夜间图,对100张真实夜间图的精确率和召回率均为95%,夜间语义簇召回率79%,高于次高的冬季60%;在BDD100k上预测出101张夜间图,精确率和召回率均为98%,夜间簇召回率81%,次高的雨天为50%。
合成图像只用于扩充测试集,下游模型不做任何再训练。 此前的生成式数据扩充大多用于训练,把合成数据只用于测试与评估、且不在合成数据上重训模型的做法此前基本未被探索。 改造用的是基于扩散的图像到图像模型CycleGAN-Turbo,它把白天图转成夜间图并保留场景内容;嵌入统计显示合成夜间图相对真实夜间图的漂移、覆盖半径和FID都低于真实白天图,加入全部数据后完整度最高。
启示与展望
这套流程面向只有留出测试集、拿不到训练数据和元数据的评测者,用于在部署前检查并修补测试集的语义覆盖缺口。它已在Caltech Camera Traps的二值图像分类和BDD100k的目标检测上、针对日/夜语义跑通,并在BDD100k的晴/雨和晴/雪天气语义上做了额外验证。合成图像只进入测试集,下游模型不在合成数据上重训。
嵌入统计能确认全局语义对齐,却不足以刻画目标检测所需的细粒度空间特征:在错配的合成数据上,BDD100k的检测评测结果仍与真实夜间图接近,说明统计指标对密集预测任务的预测力有限。天气语义的视觉差异更细微,语义识别精度低于日/夜,重要性筛选也更不准确。作者把检测上的瓶颈归因于SDXL的分辨率,并提出可换用更大的扩散模型,同时指出如何让这类强生成模型与目标域严格对齐仍基本未被探索。
