跳到主要内容
检索

# 少样本自适应

1 篇关联报道

订阅更新
  1. arXiv

    少样本微调CLIP不必再信梯度大小:只取符号、动态选点,ViT-B/16一 shot 平均到72.7%

    少样本适配CLIP时,支撑集梯度的大小严重失准,但少数大幅值坐标的符号仍指向下降方向。SignSparseSGD与DynSignSparseSGD据此把梯度幅值只用于挑选更新位置,用固定幅值的符号决定更新方向,且不保存一阶、二阶动量。在11个数据集、3种CLIP骨干和5种每类样本数下,动态版本在全部15个骨干—样本数组合上取得最高平均准确率,ViT-B/16一 shot 为72.7%,比SO高1.3个百分点。

已读完全部报道