跳到主要内容
检索

# 截断奇异值分解

1 篇关联报道

订阅更新
  1. arXiv

    D-SLR 以三倍 SVD 代价实现不劣于截断 SVD 的矩阵压缩,并在 LLM 嵌入表上把预测改变量减少约十倍

    作者提出 D-SLR 分解,要求每行要么原样存储、要么由共享低秩基拟合而绝不重叠;在平方误差下该限制不损失最优性,算法以三次 SVD 的闭式代价扫描全部秩与存储行数组合,并给出无需数据假设的事后误差下界证书;在合成矩阵与 LLM 嵌入表等实验中,D-SLR 在同等参数下不劣于截断 SVD,在保留一半参数时改变的模型预测数约为截断 SVD 的十分之一。

已读完全部报道