跳到主要内容
返回时间线
arXiv来源发表:

MEOW让冻结的3D分割模型边交互边学习:不改一个参数,也能记住训练中从未见过的结构

核心概要

MEOW把非交互式3D分割骨干改造成开放世界交互式分割系统,全程不更新任何可学习参数。此前交互式分割只能处理开放集,即识别或拒绝未知结构,却无法把用户确认的预测积累下来。MEOW用冻结特征提取器、无参数转导推理和记忆巩固,把用户修正后的伪标签存入记忆,供后续查询直接检索;在训练中未出现的类别上,它随记忆样本增加持续改善自身预测,并能零样本迁移到微型CT和其他成像模态。

Source-provided article image: MEOW: Medical Open-World Interactive Segmentation
arXiv

深度剖析

MEOW让交互式分割第一次具备开放世界能力:系统在部署中把用户确认过的未知结构预测写入记忆,后续同类查询直接受益,而骨干网络的可学习参数始终冻结。 此前的交互式分割停留在开放集设定,只能对未知结构给出预测或拒绝,不会把这次预测变成下一次的知识;开放世界学习此前已在分类、目标检测和语义分割中出现,但未用于交互式分割。 在训练中未出现的类别上,MEOW随记忆样本增加一致地改善自身预测;在微型CT的Mouse CT与InsectAnatomy数据以及MRI脑肿瘤的MSD BRATS数据上,它零样本迁移到陌生域,并在开放世界设定下大幅优于VISTA3D。

系统把分割拆成三块:一个冻结的多尺度特征提取器负责感知,一个记忆模块存放已确认的样本,一个无参数的转导模块在每次交互时重新检索并给出预测。 转导模块用近似最近邻检索替代了通常需要训练的解码器,检索在特征金字塔上从全局到局部逐层进行,再用分层消息传递做后处理以保持空间一致。 实验在器官CT、Mouse CT、InsectAnatomy和MSD BRATS上进行,特征提取器分别采用U-Net SuPreM、TotalSegmentator和VISTA3D的自动分支;记忆样本的写入与删除都是毫秒级操作,因此学习与遗忘同样迅速。

启示与展望

演示范围限于3D体数据上的交互式分割,包括器官CT的已知类别、微型CT与昆虫解剖的未知类别,以及MRI脑肿瘤的跨模态迁移;实验在RTX 3090、A40或A100单卡上运行,计时在单台配备RTX 3090的工作站上测得。

存储特征金字塔并在记忆内容中做最近邻检索,比端到端神经网络方法需要更多显存和略高的推理时间;系统要求沙漏型特征提取器,目前无法利用Transformer架构做开放世界学习。