把缺失模态当作不确定性:SIUM 在 BraTS 2018/2020 缺失模态脑肿瘤分割中平均 Dice 达 88.07/87.10/62.52
核心概要
该工作提出 SIUM,把每个模态子集的任务表示建模为高斯分布(均值承载任务信息、方差度量缺失证据带来的不确定性),用不确定性感知对齐损失把子集均值拉向全模态锚点并按二者差异放大方差,再用不确定性排序损失约束子集方差高于其超集,在 BraTS 2018 与 2020 的多种缺失模态配置下取得优于 RFNet、mmFormer、M3AE、DC-Seg 的分割精度。
深度剖析
提出概率化表示框架:把任务嵌入变为高斯嵌入,均值编码任务信息、方差编码缺失模态造成的内在不确定性,训练时用重参数化采样 r=μ+ε⊙σ 得到预测,推理时只用均值。 此前 RFNet、mmFormer、M3AE、DC-Seg 等缺失模态方法把每种模态配置编码为确定性嵌入,不显式表达信息不完整;该工作把不确定性作为可学习的显式量。 论文给出重参数化采样公式与推理时仅用均值的设定,并在 BraTS 2020 上以消融表对比确定性基线 RFNet(WT 86.98→87.54,TC 78.23→79.20,ET 61.47→63.74)。
给出不确定性影响优化的理论分析:梯度协方差 Cov_ε[∇_θL] 随 σ² 增大,且仅用任务损失会使 σ→0(方差塌缩),因此需要额外正则。 把“方差为何需要正则”从经验做法提升为可推导的结论,并据此设计后续两个损失项。 推导基于一阶泰勒展开与协方差恒等式;论文另用受控实验对 r 的任意元素固定 μ、改变 σ,每个 σ 采样 ε 30 次,显示采样梯度相对确定性梯度(ε=0)随 σ² 增大而更分散。
提出集合包含式不确定性引导:L_UA 以高斯负对数似然把子集均值对齐到梯度截断的全模态锚点,并让 σ 随二者差异增大;L_UO 用 max(0, σ_sup²−σ_sub²) 强制子集不确定性不低于其超集。 把模态子集的嵌套结构(S_sub⊂S_sup⊂S_full)直接编码为不确定性之间的排序约束,而不只是做模态掩码增强。 消融显示仅加概率嵌入与集合掩码时 WT/TC/ET 为 87.54/79.20/63.74,加 L_UA 后升至 87.73/79.32/65.57,仅加 L_UO 为 87.57/79.31/64.61,两者合用达 88.07/80.22/66.02。
在 BraTS 2018 与 2020 上跨多种缺失模态配置取得更优分割,并观察到学到的方差与性能呈反向关系、超集方差低于子集。 把不确定性从内部量变成可检验的行为:方差大小与测试 Dice 反向对应,且符合集合包含的排序预期。 BraTS 2020 平均 DSC 为 WT 88.07、TC 80.22、ET 66.02,高于 RFNet(86.98/78.23/61.47)、mmFormer(86.49/76.06/63.19)、M3AE(86.90/79.10/61.70)、DC-Seg(87.54/79.63/65.00);BraTS 2018 平均为 87.10/78.37/62.52,高于 RFNet 85.49/76.00/58.44、M3AE 85.82/77.37/59.85、DC-Seg* 86.59/77.14/59.55、mmFormer* 86.20/73.65/56.20。
启示与展望
该结果面向以四模态 MRI(T1、T1c、T2、FLAIR)为输入、预测 WT/TC/ET 三个子区域的脑肿瘤分割场景,训练与评测均在 BraTS 2018(285 名受试者,199:29:57 划分)与 BraTS 2020(369 名受试者,219:50:100 划分)上完成,体数据经颅骨剥离、模板对齐、重采样至 1mm³ 各向同性并做零均值单位方差归一化,训练时随机抽取 112×112×112 体块,推理采用 RFNet 的滑窗并平均重叠预测。可直接沿用其思路的人群是需要在模态缺失条件下保持分割稳定性的多模态医学影像研究者与工程实现者;作者公开了代码与模型权重(https://github.com/atlas-sky/SIUM),便于在相同骨干与训练协议下复现与比较。
不确定性数值目前以 σ 的均方幅度 ||σ²|| 与可视化形式呈现,尚未见将其作为校准概率用于临床阈值决策的验证;方差与性能的反向关系来自 BraTS 2020 的配置级汇总,是否在其他队列、其他肿瘤类型或其他模态组合上保持同样排序,仍需外部数据检验。集合包含设计依赖“子集⊂超集⊂全模态”这一可枚举层级,当模态集合更大或缺失模式不满足嵌套关系时,排序约束如何定义是开放问题。此外,全文以表格与图件承载主要定量结果,若只读正文文字而不查看表格与图,难以核对逐配置差异。
