# 低秩大语言模型压缩

低秩压缩此前在推理时给每个token分配固定秩，算力不随输入变化。LRCC在每个Transformer块加一个轻量路由器，在若干嵌套低秩路径中为每个token选一条，训练时冻结低秩因子、只更新路由器。在相同平均激活参数预算下，Llama-2-7B下游平均准确率比静态低秩压缩高7.6个百分点；在batch-size-1解码延迟对齐时，Llama-3.2-1B的困惑度和下游准确率同时改善，Llama-2-7B保持竞争力，且未使用专用CUDA内核。

低秩压缩此前在推理时给每个token分配固定秩，算力不随输入变化。LRCC在每个Transformer块加一个轻量路由器，在若干嵌套低秩路径中为每个token选一条，训练时冻结低秩因子、只更新路由器。在相同平均激活参数预算下，Llama-2-7B下游平均准确率比静态低秩压缩高7.6个百分点；在batch-size-1解码延迟对齐时，Llama-3.2-1B的困惑度和下游准确率同时改善，Llama-2-7B保持竞争力，且未使用专用CUDA内核。

该工作提出 QuLoC——一种光子量子辅助的大语言模型压缩算法，用量子电路输出在训练中门控保留的低秩分量，并通过局部功能重建与端到端知识蒸馏恢复性能，训练后门控系数被吸收进低秩因子，使压缩模型可在经典硬件上推理而无需运行量子电路；在 Qwen3.5-4B 上，其平均准确率相对当前最优基线提升 9.73%，在 LLaMA-7B 的不同参数压缩比下也取得相当或更高的平均下游准确率。

该工作提出 QuLoC——一种光子量子辅助的大语言模型压缩算法，用量子电路输出在训练中门控保留的低秩分量，并通过局部功能重建与端到端知识蒸馏恢复性能，训练后门控系数被吸收进低秩因子，使压缩模型可在经典硬件上推理而无需运行量子电路；在 Qwen3.5-4B 上，其平均准确率相对当前最优基线提升 9.73%，在 LLaMA-7B 的不同参数压缩比下也取得相当或更高的平均下游准确率。