跳到主要内容
返回时间线
arXiv来源发表:

SEEM分割细血管总差一口气:只加0.47M参数的读出基适配器,3mm大血管Dice达91.93%

核心概要

交互式分割模型SEEM在OCTA视网膜血管上直接使用效果不佳,冻结编码器时大血管Dice只有75.83%,且其候选掩膜全部由四分之一分辨率的同一组特征图读出,难以表达1至3像素宽的细血管。读出基适配器RBA在读出端额外生成32张半分辨率基图,每个候选通过零初始化投影自行取用,只增加0.47M可训练参数。在OCTA-500 3 mm大血管上,三个随机种子平均Dice为91.93%、IoU为85.16%,比Conv-LoRA高1.72和2.90个百分点,增益集中在细血管与血管边缘,FAZ上无显著差异。

Source-provided article image: RBA: A Read-out Basis Adapter for Parameter-Efficient Interactive OCTA Vessel Segmentation with SEEM
arXiv

深度剖析

交互式视网膜血管分割的适配位置从编码器移到了掩膜读出端:SEEM的每个候选掩膜都是同一组四分之一分辨率特征图的加权和,RBA让候选改用一组半分辨率、随图像生成的基图。 此前的参数高效方法,如LoRA、Conv-LoRA和AdaptFormer,只改编码器特征的内容,不改其四分之一分辨率,也不改掩膜从这组特征图读出的方式。 在OCTA-500 3 mm大血管的50张测试图上,RBA在全部50张上优于LoRA秩16、Conv-LoRA和AdaptFormer;三个种子平均Dice为91.93%,比Conv-LoRA的90.22%高1.72个百分点,IoU为85.16%对82.26%。

RBA由两个分支组成:读出分支从图像本身构建32张半分辨率基图,编码分支用标准秩1 LoRA提供区分动脉与静脉所需的信息。 读出分支的投影初始化为零,因此模型起步时与预训练SEEM完全一致,并保留SEEM的候选生成与选择规则。 在OCTA-500 3 mm与6 mm子集及ROSE-O上,增益出现在大血管、静脉和动脉上;3 mm静脉Dice为90.49%对88.87%,6 mm大血管为88.67%对85.91%,ROSE-O血管为77.55%对76.23%。

启示与展望

结果覆盖OCTA-500的3 mm与6 mm子集和ROSE-O,点击由真值模拟放置,模型自行选择候选并固定阈值0.5;所有训练与测试都在一块8GB笔记本GPU上完成。

点击来自误差驱动的模拟而非真实标注者,作者把沿血管边界点击和专家参与的研究列为后续方向;其余目标和数据集的多随机种子评估、其他OCTA设备图像以及基图数量与分辨率的消融也尚未展开。