帕金森病诊断的多模态学习被组织成一个端到端流程,同时输出诊断类别与校准后的预测不确定性,而不只是单一分类标签。 此前的多模态框架多采用特征拼接后接分类器,只能表达各模态的加性贡献,难以刻画跨模态的二阶依赖。 在PMMD 2.0测试集上,该流程取得98.7%准确率与0.989的AUC-ROC,优于14个重实现的基线;最强对照QIML-PD为95.4%,McNemar检验p<0.001。
每个模态先由脉冲神经网络编码成稀疏的时序表示,再通过自监督对比与掩码重建在无标签数据上对齐。 标注数据有限是帕金森病多模态建模的常见约束,自监督目标让未标注样本参与表征学习。 去掉对比预训练后准确率下降2.1%,去掉脉冲编码器后下降1.2%;脉冲编码器相对CNN编码器在推理时能耗低约31%。
对齐后的表征被组织成受试者、模态、特征与概念节点的动态异质图,由分层图Transformer做类型化注意力推理。 静态图或简单拼接无法随患者输入重建关系结构,动态构图让关系随样本变化。 把分层图Transformer换成MLP融合后准确率下降3.4%;改用静态k近邻图则降至96.1%。
量子启发变分优化在经典计算图上以相位调制与Hadamard结构混合层细化表征,蒙特卡洛Dropout给出预测方差。 常规一阶梯度下降的更新方向受局部梯度约束,混合层使更新可离开局部下降轨迹。 去掉该优化层准确率下降1.0%;相对4层MLP投影收敛快16个epoch(43对59);校准误差ECE为0.024,低于未校准Transformer的0.089。
结果覆盖PMMD 2.0的1847名受试者、UCI帕金森语音数据集31名受试者的留一受试者交叉验证,以及312名受试者的外部欧洲队列零样本评估。适用读者是关注多模态临床决策支持与图神经网络医学应用的研究者。所有报告结果均为回顾性且依赖数据集,作者明确说明在临床部署前需要多中心前瞻性验证与伦理审批。
作者指出PMMD 2.0的1847名受试者对高容量多模态架构仍属有限,需要更大规模、纵向、多机构数据验证。量子启发优化层增加可训练参数与超参数,旋转角初始化可能影响收敛稳定性,其收敛速率与可扩展性仍需系统分析。缺失模态实验只提供初步证据,系统性的模态缺失仍需前瞻研究或域适应方法。