跳到主要内容
返回时间线
researchsquare.com来源发表:

贝叶斯网络结构学习换了搜索策略:稀疏网络上PCTABU胜过PCHC,稠密网络打平

核心概要

混合式贝叶斯网络学习把骨架构建与打分搜索分开,搜索阶段用爬山法还是禁忌搜索、打分用BDe、LL还是BIC,都会改变学到的结构。PCTABU把PC算法的骨架构建与禁忌搜索结合,在八个真实基准网络上与PCHC对比:Alarm、Child、Hailfinder三个较稀疏网络上PCTABU更好,其余五个网络两者几乎等价;LL打分在两种算法上都持续最差,BDe与BIC表现相近。

AI-generated editorial illustration: On the Hyper-Parameters and the Scoring Functions of PCTABU and PCHC Bayesian Network Algorithms

深度剖析

混合式贝叶斯网络学习多了一个可调选择:骨架建好之后,用哪种搜索策略在候选有向无环图中挑出最终结构。 此前的PCHC在骨架构建之后用爬山法最大化打分函数,搜索策略与打分函数的选择很少被当作系统研究的对象。 在八个真实基准网络上,PCTABU在Alarm、Child、Hailfinder上优于PCHC,在Andes、Hepar2、Insurance、Pigs、Win95pts上与PCHC几乎等价,F-score与SHD两种指标给出一致结论。

PCTABU沿用PC算法的骨架识别流程,只把第二阶段的搜索换成禁忌搜索。 禁忌搜索维护一份最近访问过的结构清单,禁止立即回到这些结构,因此即使当前没有提分的边操作也能继续探索,从而跳出局部最优。 实验在10,000到5,000,000的九档样本量上生成分类数据,禁忌表长度与无改进迭代上限都设为10,两种搜索各重启10次,结果在200次重复上取平均。

打分函数本身也是影响结构恢复的因素,不只是搜索策略的配角。 LL只衡量拟合程度、不惩罚参数数量,倾向接受更多边;BIC按参数数目乘以样本量对数做惩罚,BDe通过贝叶斯先验压低稠密图。 在真实网络与模拟网络两类设置中,BDe与BIC在多数情形下表现接近,LL在PCHC和PCTABU上都持续更差。

启示与展望

结论建立在八个公开真实基准网络与30、50、70个节点、平均邻居数3和5的模拟网络上,数据为分类变量,样本量从10,000到5,000,000。作者提出可继续扩充真实网络数量与更高维模拟数据,并把PCTABU与MMHC的直接实证比较留作后续工作。

PCTABU的优势只在平均马尔可夫毯与平均度较低的网络上出现,六组模拟设置中两种算法全部打平;作者把这一差异归因于模拟随机图的结构规律性可能不足以产生困住爬山法的局部最优,属于解释性推测。PCTABU相对MMHC的优势只是基于PCHC此前优于MMHC的推断,尚未直接检验。