# SingLoRA单矩阵低秩适配

低秩适配（LoRA）把权重更新拆成两个小矩阵相乘，但两者范数在训练中常相差悬殊，造成梯度流不平衡和训练不稳定。SingLoRA把更新改写为单个低秩矩阵乘自身转置，从构造上消除矩阵间尺度冲突，并把可训练参数减少约一半。在MNLI上微调LLaMA-7B时，SingLoRA取得91.3%准确率，高于LoRA的89.1%和LoRA+的90.2%，而只用了它们60%的参数预算。

低秩适配（LoRA）把权重更新拆成两个小矩阵相乘，但两者范数在训练中常相差悬殊，造成梯度流不平衡和训练不稳定。SingLoRA把更新改写为单个低秩矩阵乘自身转置，从构造上消除矩阵间尺度冲突，并把可训练参数减少约一半。在MNLI上微调LLaMA-7B时，SingLoRA取得91.3%准确率，高于LoRA的89.1%和LoRA+的90.2%，而只用了它们60%的参数预算。