University of Warsaw

该工作提出 GPart（Global Partition fine-tuning），一种高参数效率的微调方法，它通过稀疏、等距的分区矩阵将 d 维可训练向量直接映射到完整权重空间，保留固定的全局参数共享先验并去除 LoRA 类方法额外的低秩重构，从而获得单一主超参数 d、精确的端到端等距性以及仅由可训练向量和随机种子组成的最小检查点表示，并在自然语言理解、计算机视觉和数学推理基准上于超低参数预算下匹配或超过现有 PEFT 方法。

该工作提出 GPart（Global Partition fine-tuning），一种高参数效率的微调方法，它通过稀疏、等距的分区矩阵将 d 维可训练向量直接映射到完整权重空间，保留固定的全局参数共享先验并去除 LoRA 类方法额外的低秩重构，从而获得单一主超参数 d、精确的端到端等距性以及仅由可训练向量和随机种子组成的最小检查点表示，并在自然语言理解、计算机视觉和数学推理基准上于超低参数预算下匹配或超过现有 PEFT 方法。

该研究在Oxford-IIIT Pet与Chest X-ray Pneumothorax两个带真值分割掩膜的数据集上，对ResNet、DenseNet与Vision Transformer家族的11个视觉模型（7个从头训练、4个使用预训练权重）用五种事后解释方法（Saliency、GradientSHAP、Integrated Gradients、Feature Permutation、Grad-CAM）生成归因图，并用Relevance Rank Accuracy与作者提出的Dual-Polarity Precision两项定位指标衡量归因与掩膜的对齐程度，结果显示在多数统计比较中增加深度与参数量并未提升解释

该研究在Oxford-IIIT Pet与Chest X-ray Pneumothorax两个带真值分割掩膜的数据集上，对ResNet、DenseNet与Vision Transformer家族的11个视觉模型（7个从头训练、4个使用预训练权重）用五种事后解释方法（Saliency、GradientSHAP、Integrated Gradients、Feature Permutation、Grad-CAM）生成归因图，并用Relevance Rank Accuracy与作者提出的Dual-Polarity Precision两项定位指标衡量归因与掩膜的对齐程度，结果显示在多数统计比较中增加深度与参数量并未提升解释