微调适配器该留多少比特：同一数据集换一个冻结模型，行为速率就从1.03降到0.41
核心概要
微调写进适配器的信息量，不再用参数量或权重重建误差衡量，而定义为压缩后重新载入冻结模型仍保留九成微调增益所需的最小序列化比特数。同一数据集在不同冻结模型上所需速率差别很大，例如保留九成数学增益在Qwen2.5-Math-7B上需1.03比特/值，在Qwen2.5-7B上只需0.41；在故意用错配推理监督训练的适配器上，压缩还把GSM8K准确率从23.7%拉回82.9%，高于冻结Qwen2.5-7B的77.6%。
深度剖析
微调适配器需要多少比特，现在有了一个按行为定义的量：把压缩后的适配器重新载入冻结模型，仍保留九成留出集微调增益的最小序列化大小。 此前常用适配器秩、参数数量或权重重建误差来描述一次微调写了多少信息，这些量只反映存储，不直接说明保留行为需要多少比特。 在0.5B到32B的多个冻结模型上，一个按权重重建误差优化的自适应编码在约1比特/值时相对权重RMSE为0.54，低于均匀量化的0.56，却只保留3%的留出增益，而均匀量化保留86%。
同一个数据集在不同冻结模型上要求的比特数不同，甚至排序会翻转，因此压缩难度属于数据集与接收模型的组合，而不是数据集本身的属性。 若速率只由数据决定，同一语料在各模型上的高低次序应当一致；实测中XBRL标注在六个接收模型上速率最低，但在Qwen2.5-7B上数学反而更便宜。 保留九成数学增益在Qwen2.5-Math-7B上需要1.03比特/值，在Qwen2.5-7B上只需0.41比特/值。
压缩不只是损失，它还能削弱适配器中被监督信号写坏的部分：用错配推理监督训练的适配器在压缩后准确率大幅回升。 未压缩的损坏适配器远低于冻结模型，压缩后反而高于冻结模型。 在Qwen2.5-7B上，GSM8K准确率从冻结模型的77.6%降到损坏适配器的23.7%，压缩后回到82.9%，这一现象在Mistral-7B-Instruct和Llama-3.1-8B上同样出现。
损坏与有用效果在适配器的奇异方向上分布不均，前导方向损害最大，压缩优先削弱这些方向。 把损坏适配器按奇异方向分解并逐段评估，可以看到前导方向强烈有害、中间一段有正贡献、尾部影响较小。 在Mistral-7B-Instruct上，包含前导方向的每个窗口平均为24.0%，不高于冻结基线的25.0%，而从第2到第9个方向开始的窗口平均为28.7%到31.8%。
启示与展望
结论建立在LoRA适配器的训练后压缩实验上，冻结模型覆盖Qwen2.5的0.5B到32B、Qwen3-8B-Base、Mistral-7B、Llama-3.1-8B与Gemma-2-9B，主要评测为GSM8K等数学与结构化任务；损坏恢复实验使用人为构造的错配监督，而非自然出现的微调错误。
行为速率是依赖编解码器的可实现速率，而非信息论最优；校正谱统计量只在固定接收模型内排序良好，跨接收模型不能可靠迁移；收缩率规则虽在未参与定规则的接收模型上取得0.068比特/值的RMSE，但速率在规则形成前已测得，仍属回溯性验证；自然微调错误是否具有同样的方向结构尚无答案。