大语言模型提取的脑大体所见对神经退行性疾病的诊断价值
核心概要
该研究基于Mayo Clinic脑库1998至2023年间5,613例尸检病例,用微调大语言模型将叙述性大体描述转为39个特征的半定量评分(在200个手工标注特征级测试样本中提取准确率为0.95),再分别以CatBoost分类器和第二个微调大语言模型结合死亡年龄、性别与脑重进行七类神经病理诊断分类,在562例留出测试集上CatBoost准确率0.73、kappa 0.65、宏平均AUC 0.92,文本模型准确率0.75、kappa 0.68,两者宏平均敏感度均为0.66,其中进行性核上性麻痹敏感度分别为0.92与0.93、多系统萎缩为0.87与0.92,而AD与LBD合并类别仅为0.21与0.03,特
Fig. 1 Study cohort selection and model development. A total of 7,379 Mayo Clinic Brain Bank
medRxiv · 第 28 页深度剖析
叙述性大体脑描述可被转化为结构化特征并用于神经病理诊断分类。 此前大体所见对主要神经退行性疾病的诊断价值尚未被充分刻画,该工作将尸检报告中的自由文本系统化为39个特征的半定量评分。 基于5,613例Mayo Clinic脑库尸检病例(1998–2023),微调大语言模型在200个手工标注特征级测试样本中提取准确率为0.95。
基于提取评分与基于标准化文本的两条分类路径在留出测试集上表现接近。 同时比较了CatBoost数值分类器与第二个微调大语言模型文本分类器,两者均纳入死亡年龄、性别与脑重。 在562例留出测试集上,CatBoost准确率0.73、kappa 0.65、宏平均AUC 0.92;文本模型准确率0.75、kappa 0.68;两者宏平均敏感度均为0.66。
诊断性能在不同疾病间差异明显,具有独特宏观模式的疾病识别较好。 量化了七类诊断中各类别的敏感度差异,而非仅报告总体指标。 PSP敏感度为0.92(CatBoost)与0.93(文本模型),MSA为0.87与0.92,而AD-LBD仅为0.21与0.03。
特征归因将特定大体特征与特定疾病预测联系起来。 通过特征归因分析指出丘脑底核萎缩与壳核异常分别对PSP与MSA预测有贡献。 归因结果来自上述模型在留出测试集上的分析,属于模型层面的关联而非独立病理机制验证。
启示与展望
该工作面向尸检报告中的大体描述文本,适用于具有独特宏观模式的疾病(如PSP与MSA)的分类辅助,其设定为脑库尸检病例的回顾性分析,并纳入死亡年龄、性别与脑重作为附加变量;对AD与LBD合并类别,该路径的区分能力有限。
当前可获取文本为摘要层面的信息,缺少图表与完整方法细节,因此特征归因的具体计算方式、各类别样本量分布以及模型在外部数据上的表现仍属开放问题;此外,AD-LBD敏感度极低(0.21与0.03)提示该类别的可区分性值得进一步关注。
