病历模板让模型把不同病人读成同一个：只预训练叙述段，ICD编码宏F1升到28.6%
核心概要
自动ICD编码要把标准诊断码贴到出院小结上，而小结里“住院经过”“出院诊断”等段落高度模板化，预训练容易学到这些表面结构而非病人特异的临床语义。SARL-ICD把对比预训练限制在主诉、现病史、既往史等叙述段，用扩充ICD码层级后的Jaccard相似度挑选正样本对，再把大模型扩写的ICD码描述以轻量标签-文本交互注入文档表示，并用专家混合模块融合PLM-CA与PLM-ICD的预测。在MIMIC-IV ICD-10上，完整系统取得28.6%宏F1和61.1%微F1，高于PLM-CA的26.1%与59.6%。
深度剖析
自动ICD编码的预训练不再把整份出院小结当作一个整体来学相似性，而是只让模型读主诉、现病史和既往史这类叙述段。 此前的预训练把住院经过、出院诊断等模板化段落一并输入，模型可能因共享文档模板而把临床上不同的病例表示得过于相似。 在MIMIC-III-full上，只用叙述段预训练时PLM-CA的微F1为0.606、宏F1为0.122，PLM-ICD为0.601和0.118；只用住院经过段时PLM-ICD宏F1降到0.103。
正样本对由扩充后的ICD码集合相似度决定，而不是由原始码串是否重叠决定。 原始Jaccard相似度对251.1与251.2这类字面不重叠但临床相关的码给出零重叠，无法构成正样本对。 每个文档的标签集先并入ICD层级中的全部祖先码，再计算Jaccard系数，相似度不低于阈值的文档对进入预训练，阈值在MIMIC-III-full、MIMIC-IV ICD-9和ICD-10上分别为0.86、0.97和0.82。
ICD码描述经大模型扩写后编码成标签向量，与文档词元表示做相似度交互，作为补充特征拼到分类头之前。 此前的标签描述注入往往与特定架构绑定，或依赖有限的文本描述而未能充分表达标签语义。 在MIMIC-IV ICD-10上，加入该模块使PLM-CA宏F1从26.1%升到27.0%，PLM-ICD从21.1%升到26.3%，后者P@8从69.9%升到71.5%；单独使用交互特征时宏F1仅0.089。
两个骨干模型的预测由一个专家混合模块按文档和ICD码动态加权合并。 PLM-CA在围产期疾病、妊娠并发症等类别上胜率更高，PLM-ICD在循环系统、内分泌疾病上更强，单一模型难以兼顾。 在MIMIC-IV ICD-10上，线性加权融合为28.3%宏F1和60.9%微F1，专家混合融合的完整系统为28.6%和61.1%。
启示与展望
实验覆盖MIMIC-III-full、MIMIC-IV ICD-9与MIMIC-IV ICD-10三个公开基准，预训练截断只作用于预训练阶段，微调仍使用完整文档。适合关注临床文本表示学习与极端多标签分类的研究者阅读。
Jaccard引导的预训练依赖ICD层级的质量与完整性，部分码的父子关系可能存在歧义；标签-文本模块依赖大模型生成的扩写描述，其质量可能波动，对没有现成描述的码集或低资源语言场景未必适用。作者还指出当前实验未对罕见ICD码做专门分析，且数据来自单一机构。