跳到主要内容
返回时间线
arXiv来源发表:

概率测度也能学稀疏字典:先做一次最优传输嵌入,训练就变成普通自编码器

核心概要

把概率测度先嵌入希尔伯特空间再学稀疏字典,训练从反复求解 Wasserstein 距离变成一次自编码器优化,在相同时间预算下重建误差比 Wasserstein 字典学习低约两到三个数量级。

Source-provided article image: Sparse Dictionary Learning for Measure-Valued Data via Linearized Optimal Transport: Efficient Algorithms and Sample Complexity
Figure 1 · arXiv

深度剖析

概率测度数据现在可以像向量一样学稀疏字典:每个测度先被映射成希尔伯特空间里的一个点,字典原子是这些点的稀疏非负线性组合。 此前的 Wasserstein 字典学习直接在非线性 Wasserstein-2 几何里优化,合成只能靠不动点迭代,每次都要反复计算 Wasserstein 距离。 在 Pavia 高光谱像素和 MNIST 两类数据上,固定 1000 秒预算,线性化方法的平均重建损失比 Wasserstein 字典学习低约两到三个数量级。

训练之所以快,是因为昂贵的传输映射只算一次,之后全部是有限维的加权求和。 线性化最优传输把每个测度表示成相对固定参考测度的传输映射,嵌入后编码器内积、解码器组合和重建损失都退化为有限维加权和。 编码器采用 LISTA 型迭代仿射阈值结构,权重不与固定 ISTA 更新绑定,与原子一起用 AdamW 和余弦学习率端到端训练。

同一套框架换一种原子参数化就能覆盖不同维度和不同任务。 精确传输映射只在一维可用,熵正则传输映射给出任意维的有限维参数化,Kantorovich 势则把向量值映射换成标量函数。 在 ModelNet-10 的 1800 个三维点云测度上,学到的系数训练线性分类器取得 96.1% 的留出测试准确率。

启示与展望

报道覆盖的是完整论文:方法在合成已知字典、Pavia、Botswana、Salinas A 高光谱图像、ModelNet-10 三维点云以及 Pythia-410M 隐状态分布上做了评估,理论部分给出依赖原子类覆盖数的泛化界。适合做测度值数据表示学习、最优传输应用或稀疏编码的研究者与工程师阅读。论文提出后续可研究 LWDL 生成模型下原子的可辨识性,以及把基测度纳入学习过程。

论文指出,OT 映射字典的泛化率随维度增长而变差,而熵正则映射字典的率是参数化的。合成实验中重建能抓住数据的大尺度特征,但细节被局部抖动掩盖,作者推测抖动来自比数据更弥散的基测度。在 The Pile 上,部分原子高度集中于单一来源,也存在若干原子前若干文档几乎相同,说明原子间存在冗余,作者提出可通过提高稀疏度或过滤相关特征缓解。