# 模型压缩

微调写进适配器的信息量，不再用参数量或权重重建误差衡量，而定义为压缩后重新载入冻结模型仍保留九成微调增益所需的最小序列化比特数。同一数据集在不同冻结模型上所需速率差别很大，例如保留九成数学增益在Qwen2.5-Math-7B上需1.03比特/值，在Qwen2.5-7B上只需0.41；在故意用错配推理监督训练的适配器上，压缩还把GSM8K准确率从23.7%拉回82.9%，高于冻结Qwen2.5-7B的77.6%。

微调写进适配器的信息量，不再用参数量或权重重建误差衡量，而定义为压缩后重新载入冻结模型仍保留九成微调增益所需的最小序列化比特数。同一数据集在不同冻结模型上所需速率差别很大，例如保留九成数学增益在Qwen2.5-Math-7B上需1.03比特/值，在Qwen2.5-7B上只需0.41；在故意用错配推理监督训练的适配器上，压缩还把GSM8K准确率从23.7%拉回82.9%，高于冻结Qwen2.5-7B的77.6%。

大模型量化通常给整层统一比特宽度，忽略了同一层内不同权重块对量化噪声的敏感度差异。A2BQ用FP16模型在WikiText-2校准集上的后softmax注意力方差给每个128行权重块打分，在5.7比特平均预算下分配4/6/8比特，再按层敏感度与分配精度设定qLoRA+的LoRA秩。在TinyLlama-1.1B上，注意力范围、首尾各保护三层的配置取得7.884的测试困惑度与73.11 tokens/s解码吞吐，但运行时显存仍接近FP16，因为参考实现先把量化权重反量化成浮点缓冲再计算。

大模型量化通常给整层统一比特宽度，忽略了同一层内不同权重块对量化噪声的敏感度差异。A2BQ用FP16模型在WikiText-2校准集上的后softmax注意力方差给每个128行权重块打分，在5.7比特平均预算下分配4/6/8比特，再按层敏感度与分配精度设定qLoRA+的LoRA秩。在TinyLlama-1.1B上，注意力范围、首尾各保护三层的配置取得7.884的测试困惑度与73.11 tokens/s解码吞吐，但运行时显存仍接近FP16，因为参考实现先把量化权重反量化成浮点缓冲再计算。

基于锚点的高斯泼溅场景训练后体积仍大到难以装进手机和头显，而已有的事后转换方法压缩比很早就饱和。这套方案把训练好的模型当作只读文件，为每个场景单独拟合一个带逐通道拉普拉斯分布的哈希网格熵上下文，再按莫顿顺序编码成可渐进解码的比特流。在三个基准的13个场景上，事后模式平均压缩6.0倍、画质变化−0.03 dB，且无需改动即可用于第三方检查点。

基于锚点的高斯泼溅场景训练后体积仍大到难以装进手机和头显，而已有的事后转换方法压缩比很早就饱和。这套方案把训练好的模型当作只读文件，为每个场景单独拟合一个带逐通道拉普拉斯分布的哈希网格熵上下文，再按莫顿顺序编码成可渐进解码的比特流。在三个基准的13个场景上，事后模式平均压缩6.0倍、画质变化−0.03 dB，且无需改动即可用于第三方检查点。

混合专家模型的权重精度其实有两笔开销，存储一笔、解码一笔；DuoRate 只存一个 4.27 bpw 的副本，再按每个工作负载自己的预填充统计挑读取前缀，在 Qwen3-30B-A3B 上以 2.9 bpw 的读取率拿到 76.16 平均分，接近 4 比特格式。

混合专家模型的权重精度其实有两笔开销，存储一笔、解码一笔；DuoRate 只存一个 4.27 bpw 的副本，再按每个工作负载自己的预填充统计挑读取前缀，在 Qwen3-30B-A3B 上以 2.9 bpw 的读取率拿到 76.16 平均分，接近 4 比特格式。

低秩压缩此前在推理时给每个token分配固定秩，算力不随输入变化。LRCC在每个Transformer块加一个轻量路由器，在若干嵌套低秩路径中为每个token选一条，训练时冻结低秩因子、只更新路由器。在相同平均激活参数预算下，Llama-2-7B下游平均准确率比静态低秩压缩高7.6个百分点；在batch-size-1解码延迟对齐时，Llama-3.2-1B的困惑度和下游准确率同时改善，Llama-2-7B保持竞争力，且未使用专用CUDA内核。

低秩压缩此前在推理时给每个token分配固定秩，算力不随输入变化。LRCC在每个Transformer块加一个轻量路由器，在若干嵌套低秩路径中为每个token选一条，训练时冻结低秩因子、只更新路由器。在相同平均激活参数预算下，Llama-2-7B下游平均准确率比静态低秩压缩高7.6个百分点；在batch-size-1解码延迟对齐时，Llama-3.2-1B的困惑度和下游准确率同时改善，Llama-2-7B保持竞争力，且未使用专用CUDA内核。

该工作识别出 BOS 汇聚现象是驱动大语言模型层级冗余敏感性的关键机制，指出高 BOS 汇聚分数的注意力头（尤其在深层）对预测性能贡献很小、充当多余注意力权重的倾倒场，并提出一种简单剪枝策略移除高 BOS 汇聚头；在 Gemma-3、Llama-3.1 和 Qwen3 上的实验表明，该策略在下游任务保留方面比基于权重和激活的准则更可靠地识别冗余 Transformer 组件，在低到中等剪枝比例下接近稠密基线，且高汇聚分数头在上下文长度增长时仍持续聚焦于 BOS。

该工作识别出 BOS 汇聚现象是驱动大语言模型层级冗余敏感性的关键机制，指出高 BOS 汇聚分数的注意力头（尤其在深层）对预测性能贡献很小、充当多余注意力权重的倾倒场，并提出一种简单剪枝策略移除高 BOS 汇聚头；在 Gemma-3、Llama-3.1 和 Qwen3 上的实验表明，该策略在下游任务保留方面比基于权重和激活的准则更可靠地识别冗余 Transformer 组件，在低到中等剪枝比例下接近稠密基线，且高汇聚分数头在上下文长度增长时仍持续聚焦于 BOS。

该工作提出位移保持关系蒸馏（DPRD），在 nnU-Net 中对 ROI 掩码后的病例级嵌入做批量成对位移向量对齐并配合关系尺度归一化，在 ISLES 2022 与 AMOS 2022 上以约5%教师参数和约3% FLOPs 的学生取得优于 Logits KD、FitNet、RKD、CIRKD 的分割结果，AMOS 上 Dice 达 85.46%、HD95 降至 11.72 mm。

该工作提出位移保持关系蒸馏（DPRD），在 nnU-Net 中对 ROI 掩码后的病例级嵌入做批量成对位移向量对齐并配合关系尺度归一化，在 ISLES 2022 与 AMOS 2022 上以约5%教师参数和约3% FLOPs 的学生取得优于 Logits KD、FitNet、RKD、CIRKD 的分割结果，AMOS 上 Dice 达 85.46%、HD95 降至 11.72 mm。

作者提出 Detail Consistent Distillation（DCD）：在训练时对教师与学生的每个编码器阶段特征做 3D 离散小波分解，只对方向性细节子带 D（排除低频近似带 A 与最易含噪的极高频带 S）经逆小波重建后在空间域做 MSE 对齐，在 BraTS 2024 与 ISLES 2022 上把通道压缩 4 倍的学生模型 mDice 分别从 63.60% 提升到 68.51%、从 70.21% 提升到 73.95%，且不增加推理开销。

作者提出 Detail Consistent Distillation（DCD）：在训练时对教师与学生的每个编码器阶段特征做 3D 离散小波分解，只对方向性细节子带 D（排除低频近似带 A 与最易含噪的极高频带 S）经逆小波重建后在空间域做 MSE 对齐，在 BraTS 2024 与 ISLES 2022 上把通道压缩 4 倍的学生模型 mDice 分别从 63.60% 提升到 68.51%、从 70.21% 提升到 73.95%，且不增加推理开销。