偏斜重尾数据也能选无向图:Student copula把成对马尔可夫性质写成偏相关系数为零的必要条件
核心概要
Student copula马尔可夫网络把成对马尔可夫性质写成偏相关系数为零的必要条件,并给出带惩罚的ECM图选择算法,使偏斜或重尾数据也能做无向图模型选择。
深度剖析
无向概率图模型此前基本依赖高斯分布,边际偏斜或重尾时就不适用;现在成对马尔可夫性质可以用copula密度来刻画,Student copula下它给出偏相关系数为零的必要条件。 高斯copula的尾部相依系数为零,联合极端事件概率不随阈值下降时并不合适;而多变量t分布的做法并非严格意义上的马尔可夫网络,密度不按图分解,缺边不意味着条件独立。 推导给出成对马尔可夫性质在copula密度下的刻画,并应用到高斯、Student与Archimedean copula族;Student情形得到偏相关系数为零的必要条件,Clayton copula则说明参数很少的Archimedean族与成对马尔可夫性质不相容。
图选择通过惩罚最大似然完成,把精度矩阵与自由度一起估计,从而在非高斯边际下恢复条件独立结构。 Student t分布写成尺度混合形式,即正态变量除以一个独立的Gamma潜变量,于是缺失的潜变量可以用ECM算法处理。 模拟从10维Student copula生成两组各2000个观测,一组用Student边际,另一组混合正态、Student、对数正态、Gamma、Weibull、卡方、Beta与logistic等对称、偏斜和重尾边际;第一组24次迭代收敛并完全恢复真实图,第二组放宽收敛阈值后收敛,多数缺失边被正确识别,并与glasso作对照。
启示与展望
该结果面向连续随机向量的无向图模型选择,适用于边际偏斜或重尾、且联合极端事件概率不随阈值下降的数据;方法在Student copula下给出偏相关系数为零的必要条件,并配套惩罚最大似然与ECM图选择流程。评估限于10维、两组各2000观测的模拟,一组Student边际、一组混合偏斜重尾边际,并与glasso对照。读者若要跟进,可关注该必要条件在更高维或真实数据上的表现。
成对马尔可夫性质在Student copula下只给出偏相关系数为零的必要条件,而非充分条件。第二组混合边际数据在原收敛阈值下未收敛,放宽阈值后才收敛,且允许一定差异时仍有部分缺失边未被识别、一条真实边未恢复。参数很少的Archimedean copula与成对马尔可夫性质不相容,因此该路线不覆盖这类copula族。
