DMA 直接近似因子到变量消息，证明边缘 KL 受消息 KL 约束，并据此构建无需学习率的贝叶斯神经网络推理
核心概要
该工作提出直接消息近似（DMA），不再像期望传播（EP）和变分消息传递（VMP）那样近似因子图每条边上的边缘分布，而是直接近似因子到变量的消息，对可归一化因子定义一致性条件（当其余入消息均为 Dirac delta 时要求精确），证明了一个主定理：在消息为 proper、图任意的条件下，用消息 KL 界定边缘 KL，并给出三条结构性推论——Dirac 输入一致性、无需 EP 式内层迭代、不产生负精度消息；此外为乘积因子固有的非 proper 反向消息证明了互补的 O(1/r^2) 保证；作为具体实例，推导了乘积因子与 leaky-ReLU 因子的显式 DMA 消息，组装出每个训练样本一次前向/后向扫描、且不含梯度学习率超参数的贝
Figure 2: Left : Posterior predictive mean (solid) and ± 2 σ \pm 2\sigma intervals (shaded) versus the true data-generating function (dashed), where σ = Var [ f ( x ) ] + β 2 \sigma{=}\sqrt{\mathrm{Var}[f(x)]+\beta^{2}} combines posterior variance with observation noise ( β = 0.2 \beta{=}0.2 ). Training points shown as crosses ( N = 200 N=200 , x ∈ [ − 2.5 , 1.5 ] x\in[-2.5,\,1.5] ); dashed verticals mark the training boundaries. Right : Hinton diagram of posterior weight beliefs after training. Square area ∝ \propto posterior mean magnitude; transparency ∝ \propto posterior variance (opaque = certain).
arXiv深度剖析
提出直接消息近似（DMA），把近似对象从因子图每条边上的边缘分布改为因子到变量的消息本身，并用一致性条件指导消息构造：对可归一化因子，要求当所有其他入消息都是 Dirac delta 时结果精确。 EP 与 VMP 都近似边缘分布，因而被迫采用迭代轮转调度、可能产生负精度消息，VMP 在 Dirac-delta 因子处还会退化为点估计；DMA 直接近似消息，从构造层面绕开这些结构性来源。 论文给出一致性条件的定义，并证明主定理（消息为 proper、图任意）以消息 KL 界定边缘 KL，三条结构性推论为 Dirac 输入一致性、无 EP 式内层迭代、无负精度消息；证据形式为定理与推论，摘要未给出实验规模或数值。
为乘积因子固有的非 proper 反向消息证明了互补的 O(1/r^2) 保证。 该反向消息的闭式处理在此前工作中一直未被解决，DMA 给出了带阶数保证的刻画。 摘要明确称该保证为“complementary O(1/r^2) guarantee”，针对“inherently improper backward message of the product factor”，并指出其闭式处理“has resisted prior work”；具体常数与推导细节需查正文。
推导出乘积因子与 leaky-ReLU 因子的显式 DMA 消息，并据此组装贝叶斯神经网络（BNN）推理算法：每个训练样本一次前向/后向扫描，且不含梯度学习率超参数。 相比依赖迭代调度与学习率调参的近似消息传递路线，该实例把结构性保证落到一个具体可运行的 BNN 推理流程上。 摘要给出算法层面的描述（一次前向/后向扫描、无学习率超参数），并称验证了结构性保证转化为预测不确定性在数据稀疏区域变宽，包括模型失配情形；未给出数据集、指标数值或对比基线。
验证结构性保证可转化为预测不确定性在数据稀疏区域变宽，且在模型失配下依然如此。 这把定理层面的 KL 界定与 BNN 中可观察的不确定性行为联系起来，而不只是停留在形式推导。 摘要以“validating that the structural guarantees translate to predictive uncertainty that widens in data-sparse regions, including under model mismatch”陈述该验证；具体实验设置与量化结果未在摘要中给出。
启示与展望
该工作面向因子图上的近似推理，适用于可归一化因子与任意图结构，并以乘积因子和 leaky-ReLU 因子作为具体实例，组装出每个训练样本一次前向/后向扫描、无梯度学习率超参数的贝叶斯神经网络推理算法。它适合希望在不引入 EP 式内层迭代、不产生负精度消息的前提下获得消息级近似的读者，也适合关注预测不确定性在数据稀疏区域与模型失配下如何表现的读者。摘要所述的验证停留在定性层面，因此其适用范围以摘要明确覆盖的因子与 BNN 场景为准。
摘要未给出实验的数据集、样本规模、评价指标或与基线的数值对比，因此“预测不确定性在数据稀疏区域变宽”这一验证的强度只能按摘要陈述理解。主定理与 O(1/r^2) 保证的具体条件、常数与证明细节需查正文。DMA 消息在乘积与 leaky-ReLU 之外的因子上的显式形式、以及该 BNN 推理算法在更大规模或不同任务上的表现，是读者可继续关注的方向。若只依据摘要，无法判断这些保证在有限精度实现下的实际行为。