皮肤免疫毒性判读不再只靠人眼：LLM辅助把F1从0.77提到0.88，审阅时间约减三分之一
核心概要
在免疫检查点抑制剂治疗患者的门诊病历中，识别皮肤免疫相关不良事件（cirAE）长期依赖人工逐份翻阅，耗时且不同审阅者判断不一。一项多机构研究让非皮肤科审阅者在检索增强的多智能体大语言模型辅助下判读，模型给出二分类建议并附支持性病历摘录。以皮肤科专家标注为金标准，辅助组F1为0.88、Cohen's κ为0.82，人工组分别为0.77和0.50，审阅者自报平均每份病历审阅时间由15分钟降至10分钟。
深度剖析
非皮肤科审阅者借助大语言模型辅助流程判读门诊病历中的皮肤免疫相关不良事件，准确性和一致性都高于纯人工审阅。 此前的免疫相关不良事件自动识别多被设定为全自动任务，不附带可供核对的证据，专家若要验证仍需重走一遍完整病历；而人工审阅本身耗时、审阅者间差异大、难以规模化。 在160例接受免疫检查点抑制剂治疗患者的病历上，以一位认证肿瘤皮肤科医生的人工判读为金标准，辅助组F1为0.88、人工组为0.77，辅助组Cohen's κ为0.82、人工组为0.50，κ差值0.32，95%自助法置信区间0.25至0.39。
辅助流程把检索到的病历片段交给两个分工不同的模型角色：一个综合推理给出初步判断，另一个复核其内部一致性，最终向审阅者同时呈现二分类建议和支持该结论的病历原文。 流程采用检索增强生成，即先从病历库中取回相关文本再让模型据此作答，检索同时使用稠密语义检索和稀疏关键词检索，关键词由领域专家参与挑选以覆盖常见描述和否定表述。 推理核心的选择在100例独立开发集上完成，该开发集与160例评估队列不重叠；在该开发集上GPT-4o智能体流程的敏感度0.82、特异度0.88，高于LLaMa-3.1的0.55与0.63、Gemma-2的0.68与0.64和Qwen-2.5的0.23与0.94。
审阅者自报的每份病历平均审阅时间从人工组的15分钟降到辅助组的10分钟，约减少三分之一，并在70%的病例中把模型评为有帮助或非常有帮助。 审阅时间来自研究结束后的回顾性自报，而非前瞻计时，帮助程度评分也属主观。 两组各由一对非皮肤科审阅者组成，均接受过cirAE判读的结构化培训并对金标准设盲，两对审阅者固定于各自流程、不在组间交叉。
启示与展望
结果来自马萨诸塞州总医院、布莱根妇女医院和丹娜法伯癌症研究所三家机构共160例免疫检查点抑制剂治疗患者的回顾性病历，金标准由一位认证肿瘤皮肤科医生确定，评估限于cirAE这一皮肤毒性终点。
两组审阅者固定于各自流程且不交叉，因此审阅者个体差异可能贡献了准确性、一致性和审阅时间上的差异；审阅时间为回顾性自报而非前瞻计时，帮助程度评分为主观；作者指出该流程仍需外部验证。