同一个临床基础模型,两种用法各赢一场:风险预测靠表示,同日医嘱靠生成
核心概要
在377万患者病历上预训练的65M参数临床基础模型FERMAT,把同一模型的两种用法放在同一批患者上比较:五年肾病、脂肪肝、糖尿病风险由患者表示预测更准,而预测同一天记录的诊断、处方和操作则由生成轨迹更准。
深度剖析
同一个预训练模型可以有两种预测用法,而哪一种更强取决于临床任务:估计预设结局的多年风险时,把病史压成一个数值摘要再交给任务专用预测器更准;预测下一次就诊当天会一起记录哪些诊断、处方和操作时,让模型续写事件序列更准。 此前CLMBR、MOTOR用患者表示训练结局预测器,Delphi-2M、Curiosity、ETHOS、Foresight用自回归生成事件序列,两类用法各有研究,但缺少在同一模型、同一批患者、同一观察病史和同一结局定义下比较其相对强弱的证据。 在1万名测试患者中,表示型预测在五年慢性肾病、脂肪肝、糖尿病上的观察加权AUROC比生成型高0.098–0.115,配对95%区间不含零;在1,862名有目标事件的测试患者上,生成型用每人50条轨迹把Recall@10做到71.00%,表示型为55.68%,配对提升15.31个百分点(95% CI 13.92–16.79)。
模型把患者病史按日期排成临床词元序列,用连续年龄代替位置编码,并单独判断下一个事件是否落在当天,再决定等待多久。 Delphi-2M从事件logits推出等待时间,ETHOS和Curiosity在事件之间插入离散时间间隔词元、间隔过近时省略,而FERMAT用一个同日头预测下一个事件是否在当前日期,另用一个时间头在连续时间上建模等待时间。 预训练语料来自单家医院2004年10月至2023年12月的OMOP通用数据模型记录,含3,773,556名患者和1,238,329,877个词元化事件,按患者划分为训练2,642,237、验证565,534、测试565,785;模型为65.22M参数、上下文512词元的自回归transformer,先做100,000步事件预测,再做100,000步加入权重0.3的时间预测损失。
启示与展望
比较覆盖两类任务:1万名测试患者上31种疾病的1至5年发病风险,以及1,862名测试患者上观察病史之后第一个临床日期记录的诊断、处方和操作集合。两种用法共用同一预训练模型、同一批患者、同一观察病史和同一结局定义,并采用同一套随访不完整的校正。作者提出下一步是在其他机构与关联理赔数据中检验这一任务依赖模式,并探索表示与生成的组合方式。
数据来自单家医院,可能限制对临床与记录习惯不同的人群和医疗环境的推广。记录可能未完整覆盖患者病史,首次记录诊断日期未必等于发病或初诊日期,院外发生的事件可能缺失。结局由首次匹配诊断定义,未要求重复诊断、确认用药或操作,也未连接登记数据,计费习惯可能抬高记录诊断数。观察加权假设在给定年龄、性别、利用度和既往疾病指示后,结局是否被观察到与结局无关;若患者因这些变量未捕捉的原因离开该院,该假设不成立,而院外诊断无论如何都会漏掉。作者还指出未评估有监督微调,例如低秩适配,这可能改变两类用法的相对表现。
