# 大语言模型块移除剪枝

该工作将大语言模型的块移除选择重新表述为约束二元优化问题，等价于在伊辛玻璃中寻找低能态，用一次校准得到的近似Hessian能量作为下游质量的廉价代理，从而无需逐次基准测试即可排序海量候选配置；在Llama-3.3-70B-Instruct上以50%压缩率（移除40/80块）不重训练时MMLU保持在约77，而最强基线块影响法降至约54，并在Llama-3.1-8B-Instruct、Qwen3-14B以及混合架构NVIDIA-Nemotron-3-Nano-30B-A3B-FP8上验证了该表述的迁移性。

该工作将大语言模型的块移除选择重新表述为约束二元优化问题，等价于在伊辛玻璃中寻找低能态，用一次校准得到的近似Hessian能量作为下游质量的廉价代理，从而无需逐次基准测试即可排序海量候选配置；在Llama-3.3-70B-Instruct上以50%压缩率（移除40/80块）不重训练时MMLU保持在约77，而最强基线块影响法降至约54，并在Llama-3.1-8B-Instruct、Qwen3-14B以及混合架构NVIDIA-Nemotron-3-Nano-30B-A3B-FP8上验证了该表述的迁移性。