三项大模型在ESC 2026前锁定预测：仅凭注册设计，区分阳性与阴性试验的AUC最高0.80
核心概要
在2026年欧洲心脏病学会年会开幕前，三项大语言模型仅凭试验注册时公开的设计信息，对50项Late-Breaking试验的主要终点是否达成给出锁定预测。48项可评分试验中28项为阳性，Claude、GPT与Gemini区分阳性与阴性试验的AUC分别为0.80、0.79和0.74，均高于随机水平；在效应量按锁定口径报告的26项试验中，方向判断正确率为88%，比值型效应的中位乘性误差约15%。
深度剖析
大语言模型可以在试验结果公布之前，仅依据注册阶段可得的设计信息，对心血管试验的主要终点是否达成给出有区分度的概率预测。 此前对模型预测临床试验结果的检验都是回顾性的，无法排除模型在训练中已经见过答案；而肿瘤科医生预测本亚专科试验、主要研究者预测自己主持的试验，区分阳性与阴性的AUC分别为0.52和0.43、0.76。 48项可评分试验中28项为阳性，Claude、GPT、Gemini的AUC分别为0.80（95% CI 0.66–0.92）、0.79（0.66–0.91）和0.74（0.59–0.87），对应P<0.001、P<0.001和P=0.004，准确率分别为73%、71%和67%。
预测在会议开始前完成并登记，模型没有联网权限，因此结果不可能来自对已发表答案的回忆。 三项模型通过各自的API接收同一份输入：试验标题、研究者依据公开注册信息整理的结构化设计摘要，以及研究者写好的阳性结果与效应量定义，并在默认采样设置下各回答三次、取中位数。 方案、设计摘要、锁定预测与判定规则于2026年8月22日会议前登记在Open Science Framework上，预测生成于8月21日至22日；结果由同时发表的论文（19项）或报告人幻灯片（31项）按登记规则判定。
模型不仅判断方向，还给出带80%预测区间的效应量点估计，其区间覆盖率因模型而异。 在效应量按锁定口径报告的26项试验中，方向判断正确率为88%，比值型效应的预测有一半落在观测值约15%以内。 80%预测区间覆盖观测效应的比例为Claude 19/26（73.1%）、GPT 22/26（84.6%）、Gemini 15/26（57.7%）。
启示与展望
已展示的范围是ESC 2026 Late-Breaking Science专场的50项试验，主要终点须为“达成或未达成”的二元问题，输入仅为标题与研究者整理的设计摘要；作者提出需要专门试验来检验这类预测是否有助于试验设计，以及结论是否适用于更新的模型。
结果由单一判定者在已看过预测的情况下按登记规则判定；两项试验被匹配到错误的注册记录；六项试验呈现的终点或时间点与锁定口径不同但仍被评分；只有一半试验按锁定口径报告效应量；三项模型倾向于在同样的试验上出错，模型间一致性不构成独立确认，且80%区间并非在每个模型上都达到80%覆盖率。