可穿戴脉搏波基础模型遇上统一考场:68种任务组合里,35.3%没跑赢随机基线
导语
一个开源基准把五个公开的PPG基础模型放到九套数据集、26项任务和四种下游适配方式下统一评测,结果在68个任务-适配组合中有35.3%没有明显超过随机或常数基线,83.8%没有同时超过经典脉搏率变异性特征和通用时间序列基础模型。
正文
可穿戴设备记录的光电容积脉搏波(PPG)已经积累到很大规模,围绕它训练的基础模型也越来越多,但这些模型此前缺少一个共同的比较场地。 过去的评测各自使用不同的数据集、任务定义、预处理、下游分类头、超参数调优和对照基线,模型之间的分数无法直接对照。 PPG-Bench把五个公开PPG基础模型放在九套开放数据集、17项主任务加9项次任务上,用同一套协议评测,并配了随机或常数基线、确定性脉搏率变异性(PRV)特征和通用时间序列基础模型MOMENT三个对照。
统一评测后,这些模型的表现并不像基础模型这个名字暗示的那样通用。 在全部68个任务-适配组合中,24个(35.3%)没有明显超过随机或常数基线;57个(83.8%)里没有任何一个PPG专用模型同时超过PRV和MOMENT。 评测覆盖线性探针、随机森林、冻结MLP探针和端到端微调四种下游方式,并做了模型各自的超参数优化和按受试者划分的交叉验证。
评测方式本身也会改变结论,增加下游容量并不总是帮忙。 在线性探针已经超过随机对照的模型-任务对上,换成冻结MLP有58.5%的对比改善、平均提升5.9%,微调有78.0%改善、平均提升9.3%;而在本来就不超过对照的组合里,增加容量通常有害。 这些变化比例来自同一批已训练模型和预测结果在四种评测方式之间的对照统计。
接下来
这份报告面向做可穿戴生理信号和基础模型评测的研究者与工程师,覆盖的是五个已发布PPG基础模型在九套开放数据集、26项任务和四种下游适配方式下的统一评测,以及随机或常数基线、PRV特征和MOMENT三个对照。材料说明基准代码开放,并给出评测更多模型的说明,团队可以用同一协议报告自己模型的标准化结果,也可以加入数据集。
材料指出,关于PPG专用预训练是否带来增益的因果结论需要把同一架构分别在PPG语料和通用时间序列语料上受控重训,当前结果只针对已发布模型。材料还说明,部分任务本身可能难以从单通道PPG波形中恢复,例如常规血氧估计依赖两个不同波长的同步PPG信号,而所评测模型只接受单通道波形;呼吸信息可能被约0.5 Hz的高通滤波削弱;PPG-BP上MLP和微调结果较差与过拟合一致,因为每位受试者只有三段2.1秒记录。此外,超参数搜索空间存在边界压力,材料将其作为描述性诊断报告,用于提示未来重跑时应扩展的搜索轴。
