病灶分割不再逐处画框:给SAM3一个概念提示,13个数据集跨模态勾出11类病灶
导语
SAM3在13个数据集、11类病灶上以文本或图像范例作为概念提示完成分割,在10个数据集上Dice优于SAM2,其中ISLES22提高4.41、ISIC2018提高5.39。
正文
病灶分割的提示方式从逐实例画框改为给一个概念,模型一次勾出同类全部病灶。 此前的SAM与SAM2只能接受点、框等几何提示,同一图像里多个同类病灶必须逐个给提示。 在13个数据集、11类病灶上,SAM3在10个数据集的Dice上超过SAM2,ISLES22提高4.41、MSD Pancreas提高3.04、ISIC2018提高5.39,SAM2仅在BraTS2023-MET、MSD Lung、BUSI上以不足1%的Dice略占优势。
概念提示由文本和图像范例两部分组成,两者一起用时定位与边界最好。 只用文本提示时,多个数据集上的Dice极低,BraTS2023-MET为0.69%、MSD Pancreas为3.96%、MSD Colon为9.17%、KiTS2019为8.71%。 加入图像范例后各数据集明显改善,文本与范例合用又在BraTS2023-MET、MSD Lung、MSD Pancreas、KiTS2019上分别再提高2.90、3.07、2.72、11.54,并在全部数据集上改善HD95与ASD,只有ISLES22-DWI的Dice略有下降。
把先验信息拼进输入通道,可以在不额外训练的情况下提高分割表现。 此前这些先验并未作为SAM3的输入通道使用。 在自适应放疗的三套院内数据上,加入前一次治疗的MR图像与标注后,Mix-Seq-Brain、One-Seq-Liver、Mix-Seq-Abdomen的Dice分别提高10.79、7.87、4.47;BraTS2023-MET上T1-C、T2-F、T2-W三模态合用比单用T1-C提高2.78。
微调SAM3时,只训练轻量适配器模块比全参数微调或只调检测器更稳。 全参数微调与只调检测器相对未微调基线提升有限或不稳定。 在BraTS2023-MET上,适配器微调取得最高Dice 82.96%与最低ASD 0.9;把该策略统一用到五个公开数据集的合并训练后,LeSAM3在BraTS2023-MET、ISLES22、ISIC2018、Kvasir-SEG四个数据集上Dice更高,但在MSD Pancreas上下降。
接下来
报告覆盖13个数据集、11类病灶,成像模态包括MRI、CT、超声、皮肤镜与内镜,重点在体数据;先验输入的三类增强分别单独评估,未做联合评估。图像范例取自同一测试切片,因此流程假定每个测试切片至少已知一处病灶位置。适配器微调在BraTS2023-MET上表现最好,统一适配策略在五个公开数据集合并训练后并非每个任务都提升。
文本提示的效果高度依赖具体措辞,MSD Lung上“lesion”的Dice为62.36%而语义相近的“tumor”为0.00%,“lung lesion”为61.63%而“lung tumor”仅6.18%。前一片预测掩膜作为先验并非在所有数据集上都有效,MSD Lung出现下降,Mix-Seq-Brain上Dice提升而HD95变差。多模态拼接的收益也随数据集与模态质量变化,ISLES22上合用输入的Dice低于单用DWI。
