视网膜跨模态配准不再先分割:MICRO基准与OFS2Reg一步对齐,成功率0.784
核心概要
跨模态视网膜图像刚性配准此前多依赖“先分割血管、再检测关键点”的两步流程,配准质量受分割精度牵制。MICRO基准汇集1,365对覆盖术前、术中、术后的跨模态视网膜图像对,并配以专家标注的控制点。基于该基准的一步式OFS2Reg用频域结构保持描述子和跨模态血管结构相似性学习直接构造关键点拓扑约束,在MICRO-pre子集上取得0.784的成功率与5.08像素的RMSE。
深度剖析
跨模态视网膜图像刚性配准有了覆盖眼科手术全阶段的公开基准,以及一条不经过血管分割步骤的一步式配准路线。 此前的视网膜配准数据集多局限于单一模态或固定的双模态组合,缺少贯穿术前、术中、术后各阶段的跨模态图像对;主流深度配准方法则走分割再检测的两步流程。 MICRO共1,365对跨模态图像,分为术前1,108对(305眼)、术前到术中207对(10眼)、术前到术后50对(50眼)三个子集,每对由临床专家标注10个位于血管交叉或分叉处的对应控制点。
配准网络在共享检测网络上直接输出关键点,用频域结构保持描述子把血管的位置、边界和骨架写进描述子,从而在描述子层面形成粗略的关键点拓扑约束。 两步流程把分割出的血管结构当作检测网络的输入,分割质量因此成为性能上限;一步式做法改为让血管结构相似性本身承担约束作用。 频域结构保持描述子由频率感知动态核生成器、低频聚合器和高频增强器组成,低频聚合器定位血管整体形状,高频增强器用Sobel滤波强调模糊的血管边界与骨架。
跨模态血管结构相似性学习进一步细化关键点拓扑约束,使两种模态下的关键点落在相同的拓扑位置上。 仅靠描述子只能得到粗略约束,两种模态之间仍存在关键点拓扑不一致。 该方法先用单模态稳定关键点挖掘从预测热图中筛出稳定关键点,再用双向几何投影机制把一侧热图经真实变换投到另一侧并取逐元素最大值,最后用跨模态三元组学习优化描述子。
启示与展望
评测在MICRO基准上完成:MICRO-pre按6:1:3划分训练、验证与测试,MICRO-pre2intra和MICRO-pre2post作为完全不参与训练的独立留出集,用于考察分布外泛化。图像统一缩放到768×768,配准结果按失败、不准确、可接受三档判定,可接受需满足中位误差小于20像素且最大误差小于50像素。作者表示MICRO数据集、代码与可比的深度配准方法将在GitHub公开。
术中与术后两个子集仅作为留出测试集,未参与训练,其上的成功率分别为0.227和0.740,低于术前子集的0.784;术中子集平均视野重叠仅28.22%且存在手术器械干扰。作者提出未来将补充MRIRG的理论分析,并进一步考察其在其他跨模态图像刚性配准任务上的泛化性与鲁棒性。
