# AutoCompress自动压缩框架

大模型剪枝通常按参数量定目标，但参数量并不能预测延迟、吞吐和显存，这些指标取决于架构、负载、硬件与服务引擎。AutoCompress 把延迟、吞吐、参数和显存约束直接放进可微架构搜索，同时搜索全局维度与逐层结构，并用目标服务引擎中实测校准的代价模型引导搜索。在与 Minitron++ 相同的部署预算和恢复训练下，它在 RTX 5070、RTX 5080 和 H100 上把八项基准的平均准确率分别提高 6.57、2.35 和 0.57 个百分点，架构选择所用 token 约为后者的二分之一到三分之一。

大模型剪枝通常按参数量定目标，但参数量并不能预测延迟、吞吐和显存，这些指标取决于架构、负载、硬件与服务引擎。AutoCompress 把延迟、吞吐、参数和显存约束直接放进可微架构搜索，同时搜索全局维度与逐层结构，并用目标服务引擎中实测校准的代价模型引导搜索。在与 Minitron++ 相同的部署预算和恢复训练下，它在 RTX 5070、RTX 5080 和 H100 上把八项基准的平均准确率分别提高 6.57、2.35 和 0.57 个百分点，架构选择所用 token 约为后者的二分之一到三分之一。