跳到主要内容
返回时间线
arXiv来源发表:

零样本缺陷检测不再逐窗扫描:RADIOlogy 单次前向在工业与医学基准上同时给出检测与分割

核心概要

零样本异常检测此前多依赖 CLIP 的滑窗多尺度推理,或需要辅助数据集的分割掩码做提示学习。RADIOlogy 利用多头部注意力池化编码器天然保留的图块—文本对齐,用正常与异常提示的平均相似度差做对比打分,一次前向即给出图像级异常分数与像素级异常图。在七个工业与七个医学基准上,其训练无关设置下的平均图像 AUROC 为工业 92.6、医学 97.3,像素 AUROC 为工业 95.2、医学 87.3。

Source-provided article image: RADIOlogy: A Single-Pass Approach to Training-Free Zero-Shot Anomaly Detection
arXiv

深度剖析

零样本异常检测可以在不训练、不滑窗的前提下完成:一张图只做一次前向,就同时得到图像级异常分数和像素级异常图。 此前的训练无关路线以 WinCLIP 为代表,需要在每张图上做多尺度滑窗、对大量局部裁剪提取 [CLS] 令牌,以绕开标准 CLIP 图块级视觉—语言对齐偏弱的问题,代价是推理延迟与算力开销。 在七个工业与七个医学基准上,RADIOlogy 的平均图像 AUROC 为工业 92.6、医学 97.3,平均像素 AUROC 为工业 95.2、医学 87.3;同一张表里 WinCLIP 的平均图像 AUROC 为工业 79.9、医学 85.5,平均像素 AUROC 为工业 77.9、医学 69.2。

打分不比较绝对相似度,而是比较视觉特征与一组正常提示、一组异常提示之间的平均相似度之差,异常与否由这个差值决定。 这套提示集合沿用 WinCLIP 的模板与状态词,因此变化来自编码器与打分方式,而不是重新设计提示。 主干为 C-RADIOv4-h,每张图在 448 分辨率下编码一次;像素图经双线性上采样并做高斯模糊后评估,全部十四个基准共用同一组数值超参数。

像素级定位靠同一次前向里的三路信号叠加:图块—文本差值、由主干稠密特征构建的内容自适应亲和图扩散,以及 SAM3 对齐特征上的球面 k-means 部件聚类。 方形窗口池化会把物体与背景混在一起,边界分辨率低;改用按语义相关性加权的邻域后,缺陷范围能扩散到真实边界。 在工业基准上逐项加入上下文池化、亲和细化与区域池化,像素 AUROC 从 89.5 依次升到 93.7、94.6 和 95.2,max-F1 从 24.3 升到 28.9、33.6 和 37.8。

启示与展望

演示范围是训练无关的零样本设置:目标域不提供任何训练样本,评测覆盖七个工业与七个医学基准,医学侧检测用 HeadCT、BrainMRI、Br35H,定位用 ISIC、ClinicDB、ColonDB、TN3K。前景先验假设背景位于图像边缘且相对规整。

前景先验在物体偏离中心并触及图像边框时会失效,作者把引入深度估计头列为后续方向。检测与定位之间仍存在性能差距,作者提出多分辨率令牌表示与微调 C-RADIOv4 主干两条后续路径。此外,流水线对极端长宽比敏感,KSDD 上需按长边切分成方形条带后分别打分。