Jinho Park

大模型上手机的主要瓶颈是权重占用的内存，而不是计算。DictLLM把分组层内的权重矩阵拆成一份共享字典和每层各自的稀疏系数，全部从预训练模型直接算出，不需要重新训练。在LLaMA-7B上，它把模型压缩5.1倍，WikiText-2困惑度只上升2.9点，压缩比约为当时最优低秩方法的3.6倍。

大模型上手机的主要瓶颈是权重占用的内存，而不是计算。DictLLM把分组层内的权重矩阵拆成一份共享字典和每层各自的稀疏系数，全部从预训练模型直接算出，不需要重新训练。在LLaMA-7B上，它把模型压缩5.1倍，WikiText-2困惑度只上升2.9点，压缩比约为当时最优低秩方法的3.6倍。