面向罕见病研究的LLM自然史研究信息抽取流程

建立了一套可复用的NHS信息抽取流程：与罕见病专家合作将10个研究问题转化为11项明确定义的特征（疾病名称、研究目的、研究类型、样本量、数据收集期、纳入/排除标准、临床结局、接受的治疗、研究时长、研究结果），并通过迭代式提示工程逐步优化抽取质量。 相较以往依赖规则方法、支持向量机、条件随机场或BioBERT等需人工特征与标注数据的做法，该流程以无需微调的开源LLM直接产出结构化JSON输出，并针对“临床结局”与“接受的治疗”等易混淆字段给出显式定义与格式约束。 方法学描述完整，包含初始提示与最终提示的具体内容、以儿童原发性硬化性胆管炎摘要为例的错误模式分析，以及三个模型统一配置（4块GPU、90%显存利用率、3,072 token上下文、温度0.1、最大输出2,048 token、vLLM部署）。

在效率与完整性上，三个模型均能处理摘要且成功率超过99%；Gemma在全语料3,547篇上平均运行时间约16分钟，Athena约18分钟，Llama约40分钟；Gemma与Llama在全部摘要上均完成抽取，Athena在全语料上有39篇失败。 该结果给出了同一硬件环境下不同规模开源模型在真实生物医学语料上的运行时间与失败率对照，并显示小规模金标准集（148篇）上的效率排序（Athena最快）在扩大语料后发生反转。 基于11次连续运行（首次测加载与初始推理，后10次取平均）的运行时统计，以及金标准集与全语料两级缺失率表格。

在专家评分上Gemma最优：50篇随机抽样摘要中，Gemma平均分1.40、68.0%被评为“good”，Llama平均分1.76、36.0%为“good”，Athena平均分2.28、仅10.0%为“good”；而自动指标排序相反，Llama的Token F1为0.874、精确匹配F1为0.838，Gemma分别为0.723与0.695。 该对照直接呈现了自动指标与专家判断之间的分歧，并指出Athena低分主要源于逐字复制原文而非综合归纳，例如在检查点抑制剂毒性摘要与复发性呼吸道乳头状瘤病摘要中均返回接近原文的叙述性文本。 专家评审由罕见病专家对50篇摘要的三模型输出独立按三点量表（1=good、2=limited、3=poor/errors）评分，并与同一子集上的多数投票参考自动指标并列呈现。

抽取完整性在不同特征间差异明显：疾病名称、研究目的、研究类型、临床结局在各模型上缺失率极低，而排除标准（40.3%–95.2%缺失）与数据收集期（5.2%–54.8%缺失）缺失率最高；术语标准化方面GARD映射率70.1%–74.2%、RxNorm为62.4%–77.6%，HPO仅28.0%–38.2%。 该结果把缺失率差异同时归因于摘要报告习惯与模型解释差异，并提示表型抽取可能需要额外的规范化策略以对齐自由文本描述与标准本体。 基于金标准集与全语料两级缺失率表格，以及GARD、HPO、RxNorm三个受控词表的匹配/尝试计数。

该流程面向以PubMed摘要为输入、以自然史研究相关罕见病文献为对象的场景，适用于希望在本地计算资源上以开源模型批量抽取研究描述性特征的机构；其设计目标是产出简洁、结构化、便于下游分析的字段，而非替代全文精读或临床判断。作者指出后续纳入全文文章与临床试验记录、并扩展到定量结果抽取，可进一步提升完整性与适用范围。

读者仍会关注：专家评审仅覆盖50篇随机摘要且由单一评审者完成，评分在更大样本与多评审者下的稳定性尚待观察；模型参数量差异较大（Llama 70B、Gemma 27B、Athena 13B），作者提出未来可采用参数量相近的模型比较或效率归一化指标；排除标准、数据收集期与治疗信息在摘要中本身报告不足，纳入全文与临床试验记录后缺失率如何变化是开放问题；HPO映射率偏低提示表型规范化仍需额外策略；此外本文为预印本，尚未经同行评审。