CARMEN把十路心肺波形装进一个编码器：冻结权重下，19项任务中多数胜过专用模型
核心概要
首尔大学医院团队发布CARMEN，一个在十种心肺波形、约227万模态小时无标签数据上预训练的单编码器，可接受任意共录信号组合与10秒到5分钟输入。冻结编码器加线性层后，它在19项围术期与ICU任务中于15项有监督对照里12项显著优于端到端监督模型，并在14至17项上超过三个预训练基础模型，且无一项被反超。
深度剖析
一个编码器现在能同时读取手术室和ICU床旁记录的心血管与呼吸波形，包括动脉压、中心静脉压、肺动脉压、颅内压以及二氧化碳、气道压、呼吸流量和阻抗呼吸，而不只限于心电图和脉搏波。 此前的生理波形基础模型几乎都建立于心电图和光电容积脉搏波之上，ICU基础模型也仍局限于心电图、脉搏波和血氧饱和度，有创血流动力学与呼吸波形被排除在预训练之外。 预训练语料共526,061条记录、合计2,274,701模态小时，其中有创血流动力学波形占21.7%、呼吸波形占28.2%，这些是常规护理中留在床旁监护仪上的记录，而非为研究挑选的样本。
冻结编码器只训练一个线性层，就能在19项下游任务中的多数上超过端到端训练的监督模型和已有的预训练基础模型。 对照包括同架构从随机初始化端到端训练的CARMEN-scratch、一维ResNet，以及通用时间序列模型MOMENT和生物信号模型NormWear、SPOTR，后三者使用同样的线性探针评估。 在15项设有监督对照的任务中，CARMEN在12项上显著高于两个监督模型；在19项任务中，它显著高于MOMENT 16项、NormWear 14项、SPOTR 17项，且这三个模型在任何任务上都未显著高于CARMEN。
模型保留被归一化抹去的信号绝对水平，因此在以绝对阈值为判定标准的任务上明显更准。 常规归一化会把平均动脉压55 mmHg与85 mmHg的两段形状相同的动脉压波形变得难以区分，而临床干预正是依据这类绝对数值。 把LSCNorm换成RMSNorm后，术中低血压的AUROC从0.894降到0.780，二氧化碳波形紊乱任务从0.730降到0.709，而在与绝对水平无关的心律失常和房颤任务上差异仅0.1%和0.2%。
启示与展望
已展示的范围是首尔大学医院三个队列上的无标签预训练，以及韩国手术室队列和以MIMIC-III为主的美国ICU队列上的19项任务，全部结果来自冻结编码器加线性探针。
作者指出，含中心静脉压、肺动脉压和颅内压的下游任务只有两项且患者很少；外部验证中韩国队列限于手术室，多数美国ICU任务来自2001至2012年采集的单一数据库；部分标签源自护理记录或诊断码，可能含噪声与时间误差；入院结局任务最弱，心脏骤停与机械通气上最好的模型AUROC也只有0.63至0.66。