Joey David

微调写进适配器的信息量，不再用参数量或权重重建误差衡量，而定义为压缩后重新载入冻结模型仍保留九成微调增益所需的最小序列化比特数。同一数据集在不同冻结模型上所需速率差别很大，例如保留九成数学增益在Qwen2.5-Math-7B上需1.03比特/值，在Qwen2.5-7B上只需0.41；在故意用错配推理监督训练的适配器上，压缩还把GSM8K准确率从23.7%拉回82.9%，高于冻结Qwen2.5-7B的77.6%。

微调写进适配器的信息量，不再用参数量或权重重建误差衡量，而定义为压缩后重新载入冻结模型仍保留九成微调增益所需的最小序列化比特数。同一数据集在不同冻结模型上所需速率差别很大，例如保留九成数学增益在Qwen2.5-Math-7B上需1.03比特/值，在Qwen2.5-7B上只需0.41；在故意用错配推理监督训练的适配器上，压缩还把GSM8K准确率从23.7%拉回82.9%，高于冻结Qwen2.5-7B的77.6%。