普渡大学提出免训练单样本分割框架，在池沸腾图像上将平均IoU较最强基线提升33.36个百分点
核心概要
该工作提出一种免训练的单样本科学图像分割框架，用一张带标注的参考图像将冻结的DINOv3与SAM组合起来：先以参考图像背景估计背景方向，对DINOv3的patch特征做背景自适应正交投影以抑制伪影方向，再用余弦相似度定位候选区域并生成提示交给SAM分割；在红细胞显微、结构光照池沸腾与胸部X线三类数据上评估，红细胞显微平均IoU较最强基线GF-SAM高5.15个百分点，池沸腾较INSID3高33.36个百分点，胸片与SAM2相当。
Figure 1 : Generalist-to-specialist one-shot segmentation across scientific imaging domains. A single annotated reference defines each target concept, and the same frozen DINOv3–SAM framework localizes and segments corresponding structures without task-specific training.
arXiv深度剖析
提出免训练、单样本的通用到专用适配框架，仅用一张带标注参考图像即可把冻结的视觉基础模型迁移到特定科学图像分割任务，无需针对每个实验条件训练监督模型。 相较需要大量专家标注的任务专用训练，以及已有免训练单样本方法（GF-SAM、INSID3），该框架把适配成本压缩到单个参考样本，并保持基础模型权重冻结。 方法层面明确使用冻结的DINOv3与SAM，参考图像及其掩码定义目标结构；在三个数据集上以平均IoU与Dice评估，并与SAM2、GF-SAM、INSID3对比。
提出背景自适应正交投影：将参考掩码下采样到DINOv3的patch网格，把参考token划分为前景与背景，用背景token的均值单位向量构造背景方向，将前景原型与目标token投影到其正交补空间，从而抑制背景结构与成像伪影对应的特征方向。 已有方法（如INSID3）用通用高斯噪声方向做正交投影，不针对参考图像中实际观测到的背景与伪影；该工作用标注参考的背景估计方向，使特征校正随任务背景自适应。 在20帧池沸腾图像上报告背景相似度从无投影与高斯噪声投影的较高水平降至接近零，对比度噪声比相应提高；图4显示无投影与高斯噪声投影在结构化背景上仍保留高响应。
在红细胞显微、结构光照池沸腾与胸部X线三类模态上验证同一框架的适用性，覆盖不同目标结构、伪影与背景特征。 评估跨越显微、结构光照重建与投影成像三类差异明显的科学成像条件，而非单一数据集。 红细胞显微使用100k-RBC-PathOlOgics数据集（240,790张分割RBC图像、九个类别，每类单独参考）；池沸腾使用20帧结构光照重建图像，含SHT与RMS两种重建；胸片使用Montgomery数据集（138张正位胸片及肺掩码，含58例结核阳性）。
分割结果显示背景自适应特征处理在伪影主导特征表示时收益最大：池沸腾上较INSID3提升33.36个百分点平均IoU与26.62个百分点Dice，红细胞显微上较GF-SAM提升5.15个百分点IoU与2.94个百分点Dice，胸片上与SAM2相当。 相较基线在池沸腾这类残留光照图案、空间变化对比度与密集特征场景下的表现，该方法的增益集中体现在伪影主导的模态上。 表1给出各数据集上SAM2、GF-SAM、INSID3与本文方法的平均IoU与Dice数值；图3显示SAM2与GF-SAM仅恢复部分气泡，INSID3产生扩大与合并的掩码，本文方法恢复更多实例并更好保持形状与边界。
启示与展望
该框架面向需要从单个标注参考迁移到同类目标结构的科学图像分割场景，适用于显微、结构光照重建与投影成像等模态；其收益在伪影主导特征表示时最为明显，例如池沸腾图像。对希望避免逐任务训练与大规模专家标注的研究者与工程实践者，这一方法提供了以一张参考图像完成适配的路径。参考掩码无需包含全部目标实例，只要标注区域能充分代表目标结构即可。
摘要中两处提升数值在正文中缺失，需以表1与第3.2节的百分比为准；第3.3节中背景相似度与对比度噪声比的具体数值在正文中未完整给出，仅以文字描述变化方向。胸片上的表现与SAM2相当，说明该框架在低对比、解剖重叠的投影图像上并未带来额外增益，其适用边界仍需在更多模态与伪影类型上观察。此外，参考图像的选择对结果的影响、以及参考掩码代表性不足时的行为，是读者可继续关注的问题。