跳到主要内容
返回时间线
researchsquare.com来源发表:

临床预测模型上线前先给数据打分:五维画像能标出缺陷,却排不准危害大小

核心概要

临床预测模型的质量取决于训练数据,但缺失率、类别比例这类单指标与模型上线后的表现没有直接挂钩。一项在MIMIC-IV三个队列和eICU多中心数据库上开展的探索性基准,把数据质量拆成完整性、标签噪声、分布相似性、代表性和时间完整性五个分量,每个受控条件下都真实训练模型并测量留出患者上的对数损失与校准变化。复合分数在三个受控队列中方向一致,但联合两种损坏时危害呈次可加而非相乘,且在21家可分析eICU医院上只与校准相关、与判别力无可检测关联。

Source-provided article image: A Multidimensional Data-Quality Profile for Clinical Prediction: An Exploratory Benchmark in MIMIC-IV and eICU
Figure 1 · researchsquare.com · 第 11 页

深度剖析

数据质量评估从报告缺失率、类别比例这类孤立统计量,转为一份与具体任务和预测目标绑定的五分量画像,每个分量都对应一次真实训练后的性能测量。 此前的做法是给出特征级缺失率、类别失衡比或人群统计表作为数据适用性的代理,却不把这些数字与模型实际发生的变化联系起来。 在MIMIC-IV的脓毒症(N=2,000)、ICU死亡(N=3,000)和KDIGO分期急性肾损伤(N=2,293)三个队列上,每个受控损坏条件都训练逻辑回归并在留出目标集上测量对数损失与期望校准误差的变化。

复合分数在三个受控队列中都与测得退化同向,而三种常见单指标启发式各自至少在一个队列中方向相反。 在死亡队列中,标签噪声把观测类别比例推向均衡,失衡监测会把这一损坏读成改善;脓毒症队列中原始缺失率把缺失条件排在分布偏移之前,而后者造成的对数损失差距更大(0.127 对 0.007)。 每个队列四个条件下计算斯皮尔曼秩相关,复合退化分数在三个队列中均为0.800,而缺失率、失衡比和亚组差距指标各自至少在一个队列中符号错误。

时间完整性分量能标出泄漏,但泄漏造成的表观判别力提升在干净部署数据上并不保留。 训练集混入未来信息时,表观AUROC比干净参照高0.025(95%区间0.011–0.039),而同一模型在干净部署数据上的AUROC与干净参照相差0.000(区间−0.009至+0.007)。 在死亡队列的独立训练—测试泄漏实验中,把出院或死亡前48小时的肌酐和血尿素氮替换进入院特征,20次重复分层划分下测得部署端危害集中在0.009的对数损失恶化(区间0.002–0.017),校准恶化区间跨零。

在eICU的21家可分析医院上,复合退化分数与逐站点校准相关,但与判别力没有可检测的关联。 未调整的δ与期望校准误差相关系数为0.60,控制医院规模后降到0.45,再控制死亡率患病率后降到0.29,把各站点样本量拉平后降到0.17(区间−0.22至+0.52)。 300次零假设重复实验给出中位相关0.21,观测到的0.60位于该零分布的94百分位(P=0.057),说明估计伪影本身就能产生可观的正相关。

启示与展望

已展示的范围是MIMIC-IV三个受控队列与eICU多中心数据库上的探索性基准,模型以逻辑回归为主、树模型作敏感性检查;作者明确列出留一分量消融、站点留出评估、假安心概率估计和预算匹配的修复策略比较四项后续分析,作为任何进一步预测性或可操作结论的前提。

作者声明复合分数在去掉干净基线后排序能力下降,脓毒症与死亡队列的秩相关从0.800降到0.500;留一家族评估中完整分量向量相对最佳标量基线的平均优势为+0.009(区间−0.035至+0.051),相对恒零预测为+0.005(区间−0.020至+0.042),在五个家族上无法拒绝无增益的零假设。标签噪声分量在可分数据上遇到100%标签翻转时给出0.997,在干净非线性数据上给出0.884,作者据此称其为代理而非噪声率估计。