D-SLR 以三倍 SVD 代价实现不劣于截断 SVD 的矩阵压缩，并在 LLM 嵌入表上把预测改变量减少约十倍
核心概要
作者提出 D-SLR 分解，要求每行要么原样存储、要么由共享低秩基拟合而绝不重叠；在平方误差下该限制不损失最优性，算法以三次 SVD 的闭式代价扫描全部秩与存储行数组合，并给出无需数据假设的事后误差下界证书；在合成矩阵与 LLM 嵌入表等实验中，D-SLR 在同等参数下不劣于截断 SVD，在保留一半参数时改变的模型预测数约为截断 SVD 的十分之一。
Figure 1: The certificate on a small toy matrix shows where a better description could still exist, and the split floor of Section 6 closes most of these shapes (Appendix I ). Each shape ( r , k ) (r,k) is coloured by the returned score minus the floor on its score. Red shapes are still open, with the shade giving the most a description there could gain, and blue shapes are pruned. The star is the returned description, and the line bounds the open shapes.
arXiv深度剖析
不相交限制在平方误差下不损失最优性：命题 1 证明，对任意秩与存储行数，重叠解的最优值可由不相交解达到，且不相交解所需参数不多于重叠解，当同时使用行与秩时严格更少。 此前稀疏加低秩模型（如 Outlier Pursuit、主成分追踪）允许行或元素重叠，需要迭代求解并调节正则权重；本文把重叠去掉，并证明这不缩小可达最优值，从而把联合问题化为一个存储行集合加一次剩余行的 SVD。 结论以命题 1 及其附录 A 的证明给出，证明依赖 Eckart–Young 定理与逐行误差分解；作者指出该无损性在 RPCA 文献中以略不同形式已知，本文将其推广到每个形状并对两种解计费。
给出无需数据假设的事后误差下界与分数证书：推论 4 由谱下界（引理 2）与行能量下界（引理 3）取较大者构成通用下界，定理 5 将其转为对任意返回解的分数证书，定理 6 的分块下界在实验中把认证间隙缩小一个数量级（通用下界中位 32.0%、最差 79.1%，分块下界中位 1.7%、最差 20.5%）。 低秩建模中的保证通常先验给出、依赖数据模型；本文的证书在拟合之后仅由输入矩阵计算，对每个秩与行数同时给出下界，并指出更优解可能存在的形状与最多可改进的幅度。 下界与证书由引理 2、3、推论 4、定理 5、6 及附录 B–H 的证明支撑；分块下界的最小化被命题 8 化为一次排序；表 3 报告了通用与分块下界在实验中的中位与最差百分比。
闭式、无调参的算法：固定基后每行在秩 r 的误差即其在该基外的能量，每个秩一次排序即可为所有行数打分，整个网格与最终解合计约三次 SVD，且不迭代；列被填入第一次 SVD 的精确尾部，使截断 SVD 始终作为候选并具有真实误差。 与需要为每个权重或每个秩与稀疏度设置重新求解的迭代方法相比，D-SLR 一次遍历即给出整条误差—参数权衡曲线，并可由误差目标、参数上限或 EBIC 型选择规则事后挑选解。 算法步骤见第 7 节，默认参数、噪声估计与价格设定见附录 J；表 2 报告 D-SLR 在 945 个合成矩阵上 100% 落在最优分数 1% 以内，约 2.5 次 SVD、每矩阵 0.45 秒。
在合成与真实数据上验证收益：合成测试中 D-SLR 100% 落在最优 1% 以内（最差比值 1.01），调参后的 Outlier Pursuit 为 94%（约 98 次 SVD），凸松弛为 78%（约 946 次 SVD）；在 Gemma 3 270M 与 Llama 3.2 1B 的嵌入表上，保留一半参数时 D-SLR 改变的预测数约为截断 SVD 的十分之一，保留 90% 时改变为零。 这些结果把不相交分解从形式上的简化推进到可复现的压缩收益，并覆盖 LLM 嵌入表、网络流量与高光谱图像等不同矩阵。 合成测试含七个案例、945 个矩阵，另有 840 个矩阵的形状与背景秩扫描；LLM 实验用 WikiText-2 训练集校准、测试集评估，并以留出交叉熵与预测改变数衡量；附录 M 报告三个真实矩阵上 D-SLR 在多数参数上限不劣于截断 SVD。
启示与展望
该结果面向以平方误差衡量重构、且矩阵行数相对列数较多（高矩阵）的压缩场景，此时存储一行比增加一个秩更便宜；作者指出 D-SLR 在行与共享基拟合较差的矩阵上收益最大，否则会退回截断 SVD。方法可直接替代截断 SVD 用于成像、科学数据降维、神经网络权重与 LLM 嵌入表压缩，并可与其他压缩手段（如量化）结合。证书对任意价格与任意有效下界成立，因此更紧的下界与更好的分块可直接接入；加权输入（行权重与列 Gram 矩阵）在附录 O 中给出支持，使方法可用于以二阶近似交叉熵为目标的 LLM 压缩。
证书给出的是下界而非可达误差，定理 5 明确说明它只是上界性质、并不保证存在达到该界的解；作者也指出证书在可负担的行数与秩数很多时会变松，且在附录 M 中观察到最宽松参数上限下下界衰减。默认选择假设剩余误差为噪声，附录 N 显示当超过一半的行都不适配共享基时默认设置会失效。分块划分是启发式的，附录 I 说明其选择方式，但更优划分仍是开放方向。此外，LLM 实验是展示而非完整压缩流程，加权目标只保留跨 token 曲率的对角并视为与隐状态独立，属于近似。