贝叶斯网络结构学习换了搜索策略:稀疏网络上PCTABU胜过PCHC,稠密网络打平
混合式贝叶斯网络学习把骨架构建与打分搜索分开,搜索阶段用爬山法还是禁忌搜索、打分用BDe、LL还是BIC,都会改变学到的结构。PCTABU把PC算法的骨架构建与禁忌搜索结合,在八个真实基准网络上与PCHC对比:Alarm、Child、Hailfinder三个较稀疏网络上PCTABU更好,其余五个网络两者几乎等价;LL打分在两种算法上都持续最差,BDe与BIC表现相近。
混合式贝叶斯网络学习把骨架构建与打分搜索分开,搜索阶段用爬山法还是禁忌搜索、打分用BDe、LL还是BIC,都会改变学到的结构。PCTABU把PC算法的骨架构建与禁忌搜索结合,在八个真实基准网络上与PCHC对比:Alarm、Child、Hailfinder三个较稀疏网络上PCTABU更好,其余五个网络两者几乎等价;LL打分在两种算法上都持续最差,BDe与BIC表现相近。
该工作将大语言模型的块移除选择重新表述为约束二元优化问题,等价于在伊辛玻璃中寻找低能态,用一次校准得到的近似Hessian能量作为下游质量的廉价代理,从而无需逐次基准测试即可排序海量候选配置;在Llama-3.3-70B-Instruct上以50%压缩率(移除40/80块)不重训练时MMLU保持在约77,而最强基线块影响法降至约54,并在Llama-3.1-8B-Instruct、Qwen3-14B以及混合架构NVIDIA-Nemotron-3-Nano-30B-A3B-FP8上验证了该表述的迁移性。
已读完全部报道