核电厂事件报告里的因果对不再一律可信：四路信号合成置信度，前两成复核抓出82%错误
核心概要
大语言模型从核电厂事件报告中抽取的因果对，过去只以确定的形式给出，下游风险分析人员无法分辨可靠与不可靠的条目。一项研究把词元概率、多次随机解码的自一致性、三个独立微调模型的分歧和保形预测四路信号，用逻辑回归堆叠成每个因果对的校准置信度。在留出测试集上，合成分数的期望校准误差为0.067、AUROC为0.84，高于任一单路信号；按不确定性优先复核时，前20%的条目覆盖了82%的抽取错误，随机选择为24%。
深度剖析
核电厂事件报告中的因果抽取结果现在可以带一个可比较的置信度，而不只是给出因果对本身。 此前的抽取系统把每条因果关系都当作确定断言输出，可靠抽取与模型编造的关系在表示形式上无法区分。 在留出的测试集上，四路信号合成的分数期望校准误差为0.067、AUROC为0.84，优于词元概率的0.092与0.71、自一致性的0.78、集成分歧的0.76和保形信号的0.73。
置信度被用来决定哪些抽取先送专家复核，以及哪些关系可以进入概率风险模型。 没有不确定性信息时，复核只能随机挑选，或依赖不可审计的经验判断。 在300条由两名专家标注的关系上，合成分数与专家有效性判断的相关系数为-0.52，预测专家判断的AUROC为0.81；低、中、高不确定性三档的专家判定有效率分别为0.94、0.82和0.61。
做法是把四种互补的不确定性信号合成一个概率，而不是依赖单一指标。 词元概率边际校准较好但区分力有限，自一致性与集成分歧区分力更好而校准较差，各自只覆盖一部分信息。 在标定集上训练的逻辑回归堆叠模型把四路信号映射为抽取正确的概率，其风险-覆盖率曲线下面积为0.89，最好的单路信号为0.82。
按不确定性筛选关系再更新风险模型，比把所有抽取都纳入更接近专家验证的参考模型。 全部纳入1,247条关系时，堆芯损坏频率估计相对专家验证参考偏离14.2%。 按合成分数低于0.3筛选出728条关系时偏离为4.8%，同样728条的随机选择偏离为9.7%，专家验证参考本身为0.0%。
启示与展望
评估限定在美国商用核电厂持照事件报告语料上，抽取模型沿用此前在该语料上微调的大语言模型路线，专家标注为300条关系、由八位专家完成。框架被描述为可迁移到其他安全关键领域，但实证只在核领域完成。
作者指出，其他领域、语言和文档类型可能需要重新校准信号与整合方式；300条标注样本使相关系数的精度和向更大抽取总体的推广受抽样不确定性影响；决策评估使用的是简化风险模型，未覆盖重要性度量、风险显著路径识别等风险模型质量维度。置信度衡量的是抽取是否忠实反映原文所述，而非所述关系在现实中是否为真。