跳到主要内容
返回时间线
arXiv来源发表:

胸片报告改按解剖区域集生成:RadCarve用不到六分之一参数,在多区域绑定上领先

核心概要

胸片报告生成开始把“生成单元”直接定义为报告标注中语句对应的解剖区域集,而不是预设主题或单个区域。RadCarve让规划器从图像同时预测哪些单元存在、各由哪些区域组成,再按该区域集的联合视觉证据独立生成每段文字。在Chest ImaGenome上,给定区域集时其CXRFEScore比强基线高9.4%,端到端绑定F1@0.5为0.451,而RGRG为0.185、ChEX为0.089;推理参数为0.761B。

Source-provided article image: Carving Radiology Reports at Their Evidential Joints: Anatomical Region Sets as Generation Units
arXiv

深度剖析

胸片报告不再被切成预设主题或单个解剖区域,而是按报告标注里语句对应的解剖区域集来组织生成单元,一个单元可以覆盖多个区域。 此前的单元式方法要么需要改写报告以对齐预设主题,要么把多区域语句拆到单个区域,要么把共享区域的重叠区域集合并成更粗的监督。 在Chest ImaGenome训练数据中,85.2%的区域集包含两个或更多区域,说明多区域单元是常态而非例外。

规划器从图像出发,同时判断一个候选单元是否存在以及它由哪些解剖区域组成,两者在解码过程中互相修正。 做法是把查询分成Broad、Cross、Specific三类组合专用查询库,每类有独立预测头,并在每个解码层用当前成员预测加权聚合区域证据回灌到单元表示。 端到端评估在31,271张测试图像上进行,不提供目标区域集,RadCarve的绑定F1@0.5为0.451,RGRG为0.185,ChEX为0.089。

生成器以预测区域集的整体表示加上各成员区域特征为条件,独立生成每个单元的文字,再拼接成完整报告。 在86,011个已正确定位的多区域对上,把输入区域集换成最佳单区域、逐个删除成员或同尺寸非目标区域集,都会降低目标文本的逐词对数似然。 完整报告生成在Chest ImaGenome上取得最高CXRFEScore和三项临床F1,在未做目标域训练的PadChest-GR 915样本测试集上三项临床指标均为最高。

启示与展望

评估覆盖Chest ImaGenome处理后的32,711张测试图像上的完整报告生成、156,540个给定区域集文本对和31,271张图像的端到端绑定,外部测试为PadChest-GR官方915样本测试集且未做目标域训练或微调。所有实验只使用当前单张正位胸片,不含既往检查、侧位片或临床背景。作者将该系统定位为辅助报告生成的研究用途,临床使用需要进一步验证和放射科医生监督。

监督来自Chest ImaGenome自动构建的语句—区域对应,可能包含与关联区域并不严格相关的内容;解剖冗余剪枝只处理特定的父子冗余,不能解决所有区域—文本不匹配。单张当前正位片无法提供评估间期变化所需的纵向证据,模型生成的比较性陈述无法仅凭所给输入核实。外部评估中,CXRFEScore相对PriorRG、F1相对R2Gen-Mamba的差异未达统计显著。