# 低秩条件计算（LRCC）

低秩压缩此前在推理时给每个token分配固定秩，算力不随输入变化。LRCC在每个Transformer块加一个轻量路由器，在若干嵌套低秩路径中为每个token选一条，训练时冻结低秩因子、只更新路由器。在相同平均激活参数预算下，Llama-2-7B下游平均准确率比静态低秩压缩高7.6个百分点；在batch-size-1解码延迟对齐时，Llama-3.2-1B的困惑度和下游准确率同时改善，Llama-2-7B保持竞争力，且未使用专用CUDA内核。

低秩压缩此前在推理时给每个token分配固定秩，算力不随输入变化。LRCC在每个Transformer块加一个轻量路由器，在若干嵌套低秩路径中为每个token选一条，训练时冻结低秩因子、只更新路由器。在相同平均激活参数预算下，Llama-2-7B下游平均准确率比静态低秩压缩高7.6个百分点；在batch-size-1解码延迟对齐时，Llama-3.2-1B的困惑度和下游准确率同时改善，Llama-2-7B保持竞争力，且未使用专用CUDA内核。