跳到主要内容
返回时间线
arXiv来源发表:

TextCSP用子区域感知提示与软级联解码,在TextBraTS上把平均Dice提到87.0%、HD95降到4.81毫米

核心概要

该工作提出TextCSP,一个在TextBraTS基线上构建的分层文本引导脑肿瘤分割框架,包含文本调制的软级联解码器(按WT→TC→ET由粗到细预测)、子区域感知提示调优(用可学习软提示配合LoRA适配的BioBERT生成三个分支专用文本表示)以及文本语义通道调制器(把文本表示转为通道级细化信号);在TextBraTS数据集上,其平均Dice达87.0%、平均HD95为4.81毫米,较此前最佳结果TextBraTS分别提升1.7%和约6%(0.32毫米),且三个子区域均有一致提升。

Source-provided article image: Hierarchical Text-Guided Brain Tumor Segmentation via Sub-region-Aware Prompts
Fig. 1

Fig. 1. Main architecture of our TextCSP, which contains three key components: (1) a text-modulated soft cascade decoder that predicts WT→TC→ET in a coarse-to-fine manner (Sec. 2.2); (2) sub-region-aware prompt tuning (Sec. 2.3), which uses learnable soft prompts with a LoRA-adapted BioBERT encoder to generate specialized text representations tailored to each sub-region; and (3) text-semantic channel modulators that convert these representations into channel-wise refinement signals, enabling the decoder to emphasize features aligned with clinically described patterns 2.4.

· 第 3 页

深度剖析

提出文本调制的软级联解码器,用三个独立预测分支显式编码ET⊂TC⊂WT的解剖包含层级,粗区域为细区域生成软空间注意力先验。 此前多数方法使用单一共享输出头,忽略包含层级,可能出现ET落在TC之外等不一致预测;该工作让WT注意力门以(1+A_WT)的软残差门控调制TC特征,TC再约束ET。 消融显示级联方式影响明显:独立并行头平均Dice 86.0%,WT→TC+ET部分级联86.7%,完整WT→TC→ET顺序级联87.0%;注意力可视化显示A_WT集中于WT并趋向TC边界,A_TC进一步收窄至ET边界,且无需中间监督。

提出子区域感知提示调优,用三组可学习软提示(K=4,d=768)驱动同一个LoRA适配的BioBERT编码器,为WT、TC、ET生成分支专用文本表示。 针对以往把整份报告压缩为单一全局文本嵌入、忽略各子区域依赖不同临床线索(水肿、坏死、强化)的问题,改为共享编码器加不同提示的轻量转向方式。 消融中在软级联基础上加入子区域感知提示使Dice从85.9%升至86.4%,再加LoRA升至86.6%;提示长度对比显示K=1为86.2%、K=4为87.0%、K=10略降至86.7%。

提出文本语义通道调制器,按Squeeze-and-Excitation范式以文本挤压替代空间挤压,把分支文本表示转为通道级调制权重,仅用于TC和ET分支。 将语言先验注入解码器特征通道,使解码器强调与临床描述模式一致的通道;WT分支不设文本调制器,体现肿瘤与背景区分主要靠视觉的设计判断。 消融中在软级联、提示与LoRA之上加入文本调制后,Dice从86.6%升至87.0%,HD95从5.04毫米降至4.81毫米。

在TextBraTS基准上取得一致优于现有方法的结果,平均Dice 87.0%、平均HD95 4.81毫米。 相较此前最佳TextBraTS(平均Dice 85.3%、平均HD95 5.13毫米)分别提升1.7%和约6%(0.32毫米),且三个子区域均有提升,其中TC增益最大(+2.6%)。 对比表覆盖3D-UNet、nnU-Net、SegResNet、Swin UNETR、Nestedformer、TextBraTS及同平台复现的TextBraTS†;实验在单张NVIDIA RTX A6000上使用PyTorch与MONAI,输入重采样至128×128,训练200轮,采用SAM与SGD及线性预热余弦退火。

启示与展望

该结果面向具备配对放射文本描述的脑MRI分割场景,适用于TextBraTS基准的官方训练与测试划分;对希望利用临床报告文本改进多子区域分割、并关注参数高效微调(LoRA、软提示)与级联解码设计的研究者与工程实践者,提供了可复用的组件组合与消融证据。

结果基于TextBraTS单一基准,尚不清楚在其他数据分布、不同文本质量或缺失文本条件下表现如何;提示长度K=4优于K=1与K=10的结论来自该基准的消融,其普适性有待观察;文本调制器只用于TC与ET、WT不用的设计判断,其在不同肿瘤类型或标注规范下的适用性仍是开放问题。

来源