Steinwart 用 Banach 空间值鞅方法证明:联合高斯变量的条件分布仍为高斯,且可由有限维滤波序列逼近
核心概要
该工作研究两个 Banach 空间值联合高斯随机变量的条件分布,证明条件分布仍为高斯测度,并给出一个基于滤波序列的有限维逼近方案:条件均值在 E 范数下收敛、协方差算子在核范数下收敛、条件概率弱收敛,且这些结果在连续高斯过程对路径的部分无穷观测条件下给出均值与协方差函数的一致收敛。
深度剖析
对 Banach 空间值 X 与有限维 Y,条件分布 PX|Y(·|y) 几乎处处为高斯测度,其均值与协方差由 cov(X,Y)(cov Y)† 给出,且 Z=µX|Y∘Y 是 E(X|Y) 的一个版本并满足 cov(Z)=cov(X)−CX|Y、G(Z)⊂G(Y)。 此前 [8, Corollary 3.10.3] 只保证存在高斯版本而不给均值协方差公式,[56, 58] 的公式依赖 cov(Y) 的表示序列;本文在一般可分 Banach 空间 E 与有限维 Y 下给出显式公式并证明 Z 的分布性质。 定理 3.1 及其证明(第 6.1 节)通过 w∗-稠密对偶序列、有限维定理 2.3 与正则条件概率变换定理 D.2 逐项验证均值与协方差公式,并用 Hahn-Banach 与抽象协方差算子唯一性(引理 B.2)完成。
对无穷维 Y,引入滤波序列 (An) 与 Yn=An∘Y,证明 PX|Yn(·|An(y)) 弱收敛到 PX|Y(·|y),均值在 E 范数下收敛、协方差算子在核范数下收敛,且 PX|Y(·|y) 为高斯测度。 此前无穷维条件分布的高斯性已知,但均值协方差公式在 F 非 Hilbert 时依赖难以获得的表示序列;本文用滤波序列把无穷维问题化为可计算的有限维投影极限,并给出核范数级别的协方差收敛。 定理 3.3 综合定理 3.1、鞅收敛定理 D.5、正则条件概率积分收敛定理 6.3 与一致胎紧性,逐条证明 i)–viii),其中协方差收敛在核范数 ∥·∥nuc 下成立。
证明任意可分 Banach 空间都存在滤波序列,并给出 Hilbert 空间、RKHS、C(T)、C1([0,1]) 及一般函数 Banach 空间的具体构造;对可分 BSF 可构造伪度量使点赋值泛函分离。 此前滤波序列概念未系统化;本文把测度论条件翻译为对偶空间 w∗-稠密或分离序列(命题 4.1、4.3),并证明一般存在性(定理 4.2)与函数空间构造(定理 4.5、4.9、引理 4.10)。 命题 4.1、4.3、定理 4.2、4.5、4.9 及推论 4.4、4.6、4.7 均给出证明,构造依赖 w∗-拓扑可度量化(定理 A.1)与点赋值连续性。
应用于连续高斯过程:对闭 S⊂T 的部分无穷观测 Y=X|S,条件均值与协方差函数由有限观测 Sn 的公式一致收敛给出,且在观测点满足 mX|Y=g(s)=g(s)、kX|Y(s,t)=0,条件概率弱收敛。 此前 [35] 的一致收敛结果要求 S=T 且对观测模型加额外假设;本文允许一般闭 S⊂T 且无需额外观测模型假设,并给出弱收敛 (38)。 定理 5.2、5.3 由定理 3.1、3.3 与引理 8.1 推出,收敛在 C(T ) 上关于 t 一致,协方差关于 t1,t2 一致。
启示与展望
该结果适用于可分 Banach 空间 E、F 上的联合高斯变量,以及由滤波序列诱导的有限维观测;对连续高斯过程,适用于紧度量空间 T 与闭 S⊂T 的部分观测。它使研究者可以在 (reproducing kernel) Hilbert 空间、C(T )、C1([0,1]) 及一般函数 Banach 空间上,用点赋值或导数泛函构造可计算的有限维逼近,并据此得到条件均值、协方差与条件概率的收敛。对 GP4ML 实践者,这意味着教科书中的条件化公式在 C(T ) 上确实对应正则条件概率,且可用有限观测序列逼近无穷观测。
本文给出的是收敛性与存在性结果,未给出收敛速率;滤波序列的具体选择会影响逼近效率,但文中未比较不同构造的数值表现。对非高斯先验或非线性观测算子,本文方法不直接适用。此外,定理 3.3 的收敛在 PY-零集之外成立,实际使用中需注意该零集依赖版本选择。
