PIRTA 用图像域检索加文本域增强，让 3D 脑 MRI 报告在跨院数据上把缺血区域准确率最高提升 57.2 个百分点
核心概要
该研究提出 PIRTA，一种检索增强生成框架：用大规模 MAE 自监督预训练的 3D ViT 编码器在图像域检索相似的 3D DWI/ADC 体积，再以这些病例配对的临床医生撰写报告作为证据增强 LLaMA3-8B-Instruct 生成报告，从而绕开显式图像—文本对齐；在 1,831 例多机构内部队列、580 例隐私保护外部队列和 206 例公开 ISLES 基准上，PIRTA 取得较强图像域检索性能（内部 mAP@1 94.0%），并在缺血区域准确率这一事实性替代指标上持续优于直接图像到文本的 2D 基线，多分类准确率分别领先最强 2D 基线 +57.2 / +34.5 / +30.6 个百分点。
Fig. 1. Conceptual comparison of cross-modal alignment strategies. (a) Conventional methods align image and text encoders in a shared representation space, requiring joint modeling across modalities. (b) PIRTA avoids explicit cross-modal alignment by retrieving similar images in the image domain, and using their paired clinician-authored reports for text-domain augmentation.
· 第 2 页深度剖析
PIRTA 把 3D MRI 报告生成重构为图像域检索加文本域增强，只训练图像编码器，把假设空间从联合 P(x,y) 缩减为边缘 P(x)，从而避免显式跨模态对齐。 以往报告生成依赖监督学习加大量标注或分割流水线，需要联合建模图像与文本编码器；PIRTA 改为在图像空间检索相似病例，用其配对医生报告作为外部证据驱动 LLM 生成。 论文以假设空间复杂度 C(H)=C(H_image)+C(H_text) 与 PIRTA 的 H_PIRTA=H_image 作形式化对比，并在内部与两个外部队列上给出检索与生成结果。
大规模 MAE 自监督预训练显著提升 3D DWI/ADC 编码器的跨机构检索泛化能力。 论文报告随预训练规模从随机初始化到内部队列 1,831 例再到 UK Biobank 38,532 例，检索指标在外部队列上提升最明显，例如 ISLES 的 mAP@1 从 38.83% 升至 70.87%。 Table 1 给出内部队列、外部队列 1 与 ISLES 的 mAP@1/5/10 与 Acc@1/5/10；Table 2 以同一编码器的四类区域分类作为表征质量 sanity check，显示并行趋势。
以缺血区域准确率作为临床可操作的事实性替代指标，PIRTA 在内部队列、BRMH 与 ISLES 上均优于 2D 多模态基线。 论文指出 BLEU、ROUGE 等 n-gram 指标会漏掉临床重要的事实错误，因此改用直接影响再灌注分诊的缺血区域准确率来评估。 Fig. 4 显示 PIRTA 在多分类准确率上领先最强 2D 基线 +57.2 / +34.5 / +30.6 个百分点，且各区域逐类差距持续存在；Table 3 的定性案例显示检索相似度越高，生成报告与专家参考越一致。
检索相似度可作为逐例置信线索，用于标记不可靠检索供放射科医生复核。 论文把显式余弦相似度分数定位为 per-case confidence cue，把检索质量与报告事实性直接联系起来。 论文报告更高检索相似度一致对应更好事实准确率，并指出失败集中在低相似度、解剖学上罕见的梗死模式。
启示与展望
该工作面向急性缺血性卒中 3D DWI/ADC 的放射学报告生成，适用于拥有配对图像—报告数据库、可构建检索库的机构场景；其结论建立在内部多机构队列、隐私保护外部队列与公开 ISLES 基准之上，评估轴为缺血区域准确率。对读者而言，这提示一条可复用的路径：先用大规模无标注 MRI 预训练 3D 编码器，再以图像域检索的医生报告为证据驱动 LLM，从而在数据受限条件下降低优化复杂度，并把相似度分数作为逐例置信线索用于放射科医生复核。
论文自述事实准确率在检索库中罕见或非典型梗死模式代表性不足时会下降，因为相似度低、接地弱；区域准确率被明确定位为聚焦的事实性指标，并不直接评分病灶大小、灌注不匹配、出血转化或报告流畅度。作者列出的后续评估轴包括 ASPECTS 式逐区域评分、由放射科医生对留出报告评分的前瞻性临床评估，以及把 NIHSS、临床表现、既往病史等临床元数据并入图像嵌入的混合多模态检索。读者仍需关注这些方向能否在更广人群与真实临床流程中复现。