SLO影像缺失不再只能填零:条件扩散在特征空间补出代理表示,术后视力预测准确率升至0.9714
核心概要
白内障术前多模态数据中SLO影像常缺失,此前的方法多在融合阶段抑制缺失影响或用零值填充,而不显式补出该模态的任务相关表示。这项工作把缺失SLO当作潜特征空间中的代理表示恢复问题,用OCT图像特征与临床文本特征作为条件,驱动扩散模型反向去噪估计样本特异的SLO代理表示,再送入融合预测网络。在2141例术前样本、SLO缺失率58.80%的数据上,该方法在绝对误差不超过0.1 LogMAR的判据下准确率为0.9714、平均绝对误差0.0423,优于UML骨干基线的0.9625与0.0457。
深度剖析
缺失的SLO模态不再被直接丢弃或零值填充,而是由模型在潜特征空间估计出一份样本特异的代理表示,作为该模态的替代输入参与术后最佳矫正视力预测。 此前的缺失模态方法主要在融合或学习阶段削弱缺失带来的负面影响,或学习模态不变的表示,并不显式恢复缺失SLO的任务相关表示;对照的UML骨干基线沿用掩码融合处理缺失SLO。 在同一数据划分、同一预测骨干和同一评价指标下,扩散恢复方法把准确率从UML基线的0.9625提高到0.9714,平均绝对误差从0.0457降到0.0423,并在与MAF-Net、CTT-Net、MMIN、IML-Net的比较中取得最高准确率与最低平均绝对误差。
恢复过程不生成原始SLO图像,而是先由OCT图像特征与临床文本特征融合出条件表示,再以它为引导,从噪声出发逐步去噪得到SLO代理表示。 条件扩散模型在此承担的是特征空间的反向去噪,训练目标同时包含噪声预测损失、表示重建损失和余弦方向约束,使恢复出的表示在数值与整体方向上接近真实SLO表示。 恢复模块只用模态完整的样本预训练,采用100步DDPM,目标SLO表示为49个token、768维特征;在101例具备SLO的验证样本上,恢复表示与真实SLO特征的平均余弦相似度为0.9583,均方误差为0.00118。
条件信息的组织方式直接影响下游预测,OCT与文本经融合构造条件时效果最好。 单独用OCT条件、单独用文本条件以及简单拼接OCT与文本条件,都没有达到融合条件的效果;文本单独条件时准确率降至0.9442、平均绝对误差升至0.0507。 消融中融合条件取得0.9714的准确率与0.0423的平均绝对误差,但测试损失为2.0068,并非所有指标都最优。
启示与展望
结果来自单中心2141例白内障术前多模态样本,SLO缺失率58.80%,各数据划分的缺失率自然不同,测试集为66.05%;评价指标为绝对误差不超过0.1 LogMAR的准确率与平均绝对误差,其中0.1 LogMAR阈值约相当于标准LogMAR视力表一行,作者说明它是可解释的判据而非经过验证的临床决策阈值。
作者指出研究受限于单中心数据集、各数据划分间自然变化的SLO缺失率以及缺乏外部验证,需要在独立临床队列和受控缺失设置下进一步评估泛化性;恢复出的表示分布比真实SLO特征更集中,说明高表示相似度不一定保留完整的样本间差异。
