双视角协方差不再混在一起学：CANE把视角内与跨视角结构分开，脑影像年龄预测误差降到4.97岁
核心概要
多视角数据里，每个视角有自己的协方差，视角之间还有跨视角协方差，此前的协方差神经网络只处理单视角，把两视角拼接后无法区分这两类结构。CANE把视角内协方差滤波与跨视角协方差滤波分成两级，用可学习多项式在协方差谱上代替典型相关分析中的白化与奇异向量选择，并直接按下游任务训练。在脑影像与运动传感的七个数据集上，CANE在其中六个取得最佳或并列最佳表现，ADNI1的年龄预测平均绝对误差为4.97岁，参数量常比双视角VNN更少。
深度剖析
协方差神经网络从单视角扩展到双视角，视角内协方差与跨视角协方差被当作两种不同的关系先验分别学习，而不是拼成一个矩阵统一处理。 此前的协方差神经网络只在单个视角的协方差上学习多项式滤波，面对双视角数据只能分别处理每个视角或把两视角拼接，拼接后的协方差矩阵虽然在对角块和非对角块上分别含有视角内与跨视角协方差，滤波系数却只随幂次变化，无法区分两类结构。 在脑影像与运动传感的七个数据集上，CANE在其中六个优于或持平单视角基线、双视角VNN、典型相关分析预处理加预测器以及深度任务感知典型相关分析方法，在ABIDE上处于最佳模型一个标准差以内。
模型分两级：先对每个视角的协方差图做线性图卷积滤波，再用第一级输出之间的跨视角协方差构造图，在其上做带非线性的一层层图卷积，最后接读出模块完成回归或分类。 典型相关分析先白化各视角、再取跨视角协方差的奇异向量投影到相关子空间，需要求逆与奇异值分解，且与任务无关；CANE用协方差滤波器的可学习多项式响应覆盖同一谱空间，把典型相关变换作为可学习函数空间中的一个点，并只按任务损失端到端训练。 实验覆盖ADNI1、ADNI2、ADNI3、ABIDE四个脑影像数据集与MHEALTH、REALDISP、DSADS三个运动传感数据集，任务包括患者年龄回归与动作分类，超参数经四折交叉验证网格搜索选取。
在协方差由有限样本估计而产生扰动时，模型输出误差随样本数增加以约样本数平方根的速率下降，其大小由所学滤波器的利普希茨常数控制，而不是由典型相关分析中的奇异值间隔与协方差逆范数控制。 典型相关分析的投影矩阵估计误差与跨视角协方差的奇异值间隔成反比，间隔小或协方差病态时投影误差会显著增大，使依赖它的流程在协方差估计有噪声时表现不稳定。 在固定训练好的模型、仅用越来越小的训练子集重新估计协方差并重新评估的设定下，CANE与VNN的嵌入扰动比典型相关分析预处理小一个数量级，下游性能在多数扰动情形下几乎不受影响；实测扰动衰减与理论速率吻合到约60%训练样本规模。
启示与展望
演示范围限于两个视角的脑形态测量与可穿戴传感器数据：四个脑影像数据集做患者年龄回归，三个运动传感数据集做动作分类，协方差均由训练样本估计。方法本身按两个视角设计，多视角情形未纳入实验。
稳定性实验显示，实测扰动衰减只在训练样本规模约60%以内与理论速率吻合，之后实测衰减更快，原因是子集协方差收敛到全数据集协方差而非真实协方差，子集估计不再独立。理论界随网络层数与滤波器组规模增大而变宽，稳定性与判别力之间存在需要权衡的关系。