少样本微调CLIP不必再信梯度大小：只取符号、动态选点，ViT-B/16一 shot 平均到72.7%
核心概要
少样本适配CLIP时，支撑集梯度的大小严重失准，但少数大幅值坐标的符号仍指向下降方向。SignSparseSGD与DynSignSparseSGD据此把梯度幅值只用于挑选更新位置，用固定幅值的符号决定更新方向，且不保存一阶、二阶动量。在11个数据集、3种CLIP骨干和5种每类样本数下，动态版本在全部15个骨干—样本数组合上取得最高平均准确率，ViT-B/16一 shot 为72.7%，比SO高1.3个百分点。
深度剖析
少样本适配视觉语言模型时，梯度幅值不可靠而符号仍可用，这一区分被做成两种不保存优化器状态的更新规则。 此前的参数高效微调与稀疏优化方法大多沿用Adam或SGD的更新配方，默认少样本梯度足以驱动学习，并把噪声交给超参数调节。 在CLIP（ViT-B/16）上比较1 shot梯度与16 shot参考梯度，坐标幅值比跨越多个数量级；而按幅值加权的符号可靠性在迭代中保持为正，限制在最大幅值尾部时符号一致率明显上升，EuroSAT上从约0.58升到前0.1%坐标的约0.71。
更新位置由梯度幅值决定，更新幅度由符号决定，每个被选中的非零坐标移动固定步长。 SignSparseSGD在第一个minibatch后固定支撑集，DynSignSparseSGD每一步重新计算支撑集，两者都不保留一阶或二阶动量缓冲。 在11个数据集、ViT-B/32、ViT-B/16、ViT-L/14三种骨干和1、2、4、8、16 shot下，DynSignSparseSGD在全部15个骨干—样本数组合上平均准确率最高，ViT-B/16一 shot 为72.7%，高于SO的71.4%和LoRA的70.5%。
在300轮的长训练预算下，两种符号稀疏更新的峰值到末期平均回落都远小于对比方法，其中固定支撑集的回落更小。 在共享学习率10⁻⁴下，11个数据集上SignSparseSGD与DynSignSparseSGD的平均峰值到末期回落分别为0.93和1.85个百分点，SO为5.26、SAFT为6.06、LoRA为7.97、GaLoRE为9.58。 固定短预算下动态支撑集是更强的默认选择，而训练延长到300轮时静态支撑集的末期精度回落更小；SignSparseSGD在11个数据集上都保持在峰值5个百分点以内，DynSignSparseSGD在11个中的10个上如此。
启示与展望
结论建立在CLIP式图像分类的少样本适配之上，评测覆盖11个数据集、ViT-B/32、ViT-B/16、ViT-L/14三种骨干、每类1至16个样本和三个固定随机种子，所有方法共用同一套配置。两种优化器仍需稠密反向传播，节省发生在优化器阶段而非反向传播阶段。
研究明确限于CLIP式图像分类，其他架构或模态可能需要重新标定符号更新尺度。静态支撑集在样本数增大时可能落后，因为初始支撑集随优化推进变得不那么有代表性。动态支撑集在固定短预算下是更强的默认选择，静态支撑集在很长训练下末期精度回落更小。