跳到主要内容
返回时间线
arXiv来源发表:

双曲降维不再依赖变分近似:RHFF-LVM 用闭式随机特征,在合成树上把树距相关做到 84.3

核心概要

双曲空间适合嵌入层级数据,但此前的双曲高斯过程隐变量模型要为每个核矩阵元素做数值积分,还要联合优化辅助变量,规模一大就难以训练。RHFF-LVM 改用 Helgason–Fourier 变换导出的显式有限维随机特征来近似双曲核,把观测建模为隐变量的特征投影,从而去掉数值求积、变分下界和诱导点。在合成二叉树上,它的嵌入距离与真实树路径长度的 Spearman 相关为 84.3,高于欧氏对照 RFF-LVM 的 74.9 和最强双曲基线 Poincaré Map 的 82.4。

Source-provided article image: Helgason-Fourier Random Features for Scalable Hyperbolic Latent Variables
arXiv

深度剖析

双曲隐变量模型现在可以用一组固定的显式随机特征来拟合,而不必为每个核矩阵元素做数值积分,也不必联合优化诱导点。 此前的双曲高斯过程隐变量模型依赖变分下界,其紧致程度取决于与隐变量一起优化的辅助变量,现有实现甚至固定诱导输入而不优化。 在合成二叉树上,RHFF-LVM(heat)的嵌入距离与真实路径长度的 Spearman 相关为 84.3,欧氏对照 RFF-LVM 为 74.9,最强的外部双曲基线 Poincaré Map 为 82.4。

特征由 Busemann 函数给出闭式表达,频率从 Helgason–Fourier 谱密度中抽取,因此热核与 Matérn 族等双曲核可以直接在频域指定。 欧氏随机特征依赖 Bochner 定理和平移不变性,这两者在双曲空间都不成立,需要改用球面变换和边界上的理想方向。 在八个真实数据集上,RHFF-LVM(heat)在全局结构指标上取得最佳平均排名 2.55,PCA 为 3.35;在 C. elegans 上为 78.8,PCA 为 71.0。

隐变量被重新参数化为无约束的欧氏坐标,用拉回度量下的自然梯度更新,不再需要切空间投影和回缩。 直接在洛伦兹模型上做黎曼更新会累积浮点误差,误差随离原点距离增长,从而破坏训练稳定性。 在只增加每节点样本数的合成树扩展实验中,RHFF-LVM 近线性扩展,并在数十秒内拟合五十万个点;BHGP-LVM 受变分推断限制无法继续扩展,Poincaré Map 则受稠密亲和矩阵限制。

启示与展望

演示范围是合成二叉树、七个单细胞图谱和一个作为非层级对照的 MNIST,潜变量维度取 2、5、10,指标为全局距离相关与最近邻召回;扩展实验只增加每节点样本数,最大到五十万点。

逼近误差随潜变量维度和潜变量域直径指数增长,这把方法限制在低维、有界区域;峰值内存由特征矩阵主导,小批量训练尚未实现;与 PCA 的全局指标差距在八个数据集上三胜五负,跨数据集检验不显著。