一个模型切分四种超声心动图切面:P2Echo用文字提示替代多套专用网络
核心概要
P2Echo把多切面超声心动图分割收进一个网络,操作者用“切面+目标结构”的结构化文字提示指定要分割的解剖部位,模型据此在解码器中动态调整特征。此前每个标准声窗通常要单独训练专用模型,或依赖难以显式控制的隐式先验。在内部数据上,P2Echo相对同样面向多切面的EchoONE在2CH、3CH、4CH上分别提高5.3、1.1、2.8 Dice,PSAX持平;三个外部数据集上保持竞争性表现,计算量为6.90 GFLOPs。
深度剖析
多切面超声心动图分割不再需要为每个声窗维护一套专用网络,一个模型即可按提示切换处理路径。 此前的做法要么为每个切面训练专用模型,要么用多分支架构,新增切面就要新增并行分支;而把经典架构直接放在合并的多切面数据上训练,性能会明显低于按切面单独训练。 在内部测试集上,P2Echo相对唯一同样面向多切面超声分割的EchoONE,在2CH、3CH、4CH上分别提高5.3、1.1、2.8 Dice,PSAX相当,且只使用一套参数,不依赖逐切面权重或可学习的稠密提示。
控制信号是操作者可以直接写出的文字,而不是从数据中学到的隐式原型。 基于SAM的通用模型用聚类得到的结构原型生成稠密提示,引导效果取决于这些先验对输入解剖的刻画程度,难以被用户显式指定。 提示按固定模板写成“View、Target、Description”,由冻结的Qwen3-Embedding-0.6B编码;在内部测试集450张图像、950个标注结构实例上,规范模板取得93.53% Dice。
文字提示在解码器的每个空间分辨率上持续调制视觉特征,而不只在掩码解码前做一次定位引导。 此前的文本引导分割方法主要用语言做目标定位或生成视觉提示,没有在多个空间分辨率上连续调制解码器特征。 在HMC_QU上的消融显示,把动态投影换成静态线性层、去掉动态测度核、去掉跨模态差分算子,分别损失2.18、1.70、2.19 mDice,并增加0.39、0.43、0.92 HD95。
启示与展望
实验覆盖四个标准超声心动图切面(2CH、3CH、4CH、PSAX),并在构建提示时假定切面身份已知;内部训练与评估使用五个数据集,另以三个外部数据集做留出评估。作者提出后续将扩展到更多切面,并检验分割改善能否转化为更准确、可重复的心脏测量与功能评估。
作者指出当前结果不能证明对未见切面的泛化;3CH与PSAX的监督各只来自一个开发数据集;模型对提示措辞敏感,临床改写与简短提示的Dice分别为80.48%和35.83%,简短提示方差较大;评估只涉及分割精度,未涉及下游临床测量。
