目标数据集不再需要人工标注：SAM、CLIP与大视觉语言模型协作，COCO零样本检测达60.8 AP
核心概要
目标数据集上的人工标注被一条自动流程替代：SAM生成分割候选，CLIP做快速预筛与标签匹配，大视觉语言模型只对聚类中心图像给出语义标签，再用这些伪标签训练开放集检测器并迭代精修。在COCO val2017与LVIS minival的零样本设定下，YOLO骨干版本分别达到60.8 AP和47.4 AP，Swin-T骨干版本为57.2 AP和46.2 AP，说明增益并非只来自检测骨干。
深度剖析
检测器可以在完全没有目标数据集人工标注的条件下训练，并同时识别已知类别与训练中未出现的新类别。 此前开放词汇检测方法仍依赖在人工标注数据上预训练的闭集检测器，无监督发现方法则无法给出开放式语义标签。 在COCO val2017与LVIS minival的零样本设定下，YOLO骨干版本取得60.8 AP与47.4 AP，Swin-T骨干版本取得57.2 AP与46.2 AP。
流程把标注工作拆成三步：先由分割模型给出类别无关的候选框，再由视觉语言模型给出场景与物体名称，最后用图文匹配把名称落到候选框上。 大视觉语言模型逐候选查询代价高，因此先用较小的CLIP模型做预筛和标签匹配，只把聚类中心图像交给大模型。 基于地标的聚类把逐图标注时间从15至20分钟降到45秒，约合20至27倍加速。
训练出的检测器反过来为分割模型提供框提示，精修分割与定位，再用改进后的伪标签重训检测器。 初始分割模型在无提示时会产出背景、冗余部件和噪声掩码，需要过滤后才能作为训练目标。 在ODinW-35与Roboflow-100验证集上，YOLO骨干版本分别达到32.5 AP与23.7 AP，Swin-T骨干版本为30.1 AP与20.8 AP。
启示与展望
演示范围是COCO val2017、LVIS minival、ODinW-35、Roboflow-100以及COCO开放词汇划分上的零样本评测，另有一个用Applied Intuition模拟器构建的域偏移数据集；基础模型只在离线标注阶段使用，部署的是YOLO类检测器。
大视觉语言模型对模糊或被遮挡物体的误标会传入伪标签；定位质量受分割模型限制，在低对比度、杂乱或细粒度重叠部件下会退化；标注对提示措辞敏感，标签字典只能部分缓解；聚类在降低查询成本的同时带来的标签质量取舍尚未刻画。