arXiv来源发表:
结肠镜息肉检索不再依赖人工框注:两例样本即可超过多数方法用十例的效果
核心概要
结肠镜下的息肉比对依赖不同视角的互补画面,而现有对比学习方法仍需人工标注的边界框来构建息肉轨迹表示。新的无标注框架直接从原始结肠镜视频构造轨迹视图,在完整检查视频上做时序自监督学习,包括没有可见息肉的帧。在REAL-Colon上,该方法在轨迹检索与重识别上优于自监督和有监督基线;在更接近临床的少样本息肉检索任务中,仅用两个示例就超过多数用十个示例的对比方法。
深度剖析
息肉轨迹表示的学习不再需要人工标注的边界框,训练数据也从挑出的片段扩展到完整检查视频,包括没有可见息肉的帧。 此前的对比方法虽然从时序线索学习轨迹表示,但仍以人工标注的边界框为起点。 在REAL-Colon数据集上,该无标注方法在轨迹检索与重识别两项任务上均优于自监督基线和有监督基线。
方法把原始结肠镜视频直接切成轨迹视图,再在这些视图上做时序自监督学习,因此标注环节被整体去掉。 这一做法称为无标注表示学习,即用视频自身的时间结构提供训练信号,而不依赖人工画框。 训练与评测都在完整检查视频上进行,其中包含没有可见息肉的帧。
面向临床使用的少样本息肉检索被单独提出:给定目标息肉少量观测,去检索它其余的轨迹。 与需要较多示例的常规设定相比,示例数量被压到个位数。 仅给两个示例时,该方法的检索表现超过多数在十个示例下运行的对比方法。
启示与展望
已展示的范围是REAL-Colon数据集上的轨迹检索、重识别与少样本息肉检索,训练和评测都使用完整结肠镜视频;材料还提到,少量未标注检查视频即可支撑有竞争力的表现,使现场开发模型更实际。
材料以“有竞争力的表现”描述少量未标注检查的效果,未给出所需检查数量的具体门槛,也未给出各任务上的具体数值。
