跳到主要内容
检索

# 大语言模型压缩

2 篇关联报道

订阅更新
  1. arXiv

    7B模型压到五分之一：DictLLM用共享字典加稀疏系数，困惑度只涨2.9点

    大模型上手机的主要瓶颈是权重占用的内存，而不是计算。DictLLM把分组层内的权重矩阵拆成一份共享字典和每层各自的稀疏系数，全部从预训练模型直接算出，不需要重新训练。在LLaMA-7B上，它把模型压缩5.1倍，WikiText-2困惑度只上升2.9点，压缩比约为当时最优低秩方法的3.6倍。

    Columbia University
    Jinho Park（第一作者）
    字典核压缩DictLLM大语言模型压缩NVFP4量化
  2. arXiv

    D-SLR 以三倍 SVD 代价实现不劣于截断 SVD 的矩阵压缩，并在 LLM 嵌入表上把预测改变量减少约十倍

    作者提出 D-SLR 分解，要求每行要么原样存储、要么由共享低秩基拟合而绝不重叠；在平方误差下该限制不损失最优性，算法以三次 SVD 的闭式代价扫描全部秩与存储行数组合，并给出无需数据假设的事后误差下界证书；在合成矩阵与 LLM 嵌入表等实验中，D-SLR 在同等参数下不劣于截断 SVD，在保留一半参数时改变的模型预测数约为截断 SVD 的十分之一。

    Chalmers University of Technology
    Vincent Szolnoky（第一作者、通讯作者）
    D-SLR分解截断奇异值分解稀疏加低秩分解大语言模型压缩

已读完全部报道