Michael Kwok-Po Ng

该工作提出 GenFT，一种以预训练权重 W0 为条件的参数高效微调方法，用确定性生成器对 W0 做行、列变换并配合共享-专属分解来生成任务专属更新 ΔW，在 GLUE（RoBERTaBase，平均 85.87%，0.24M 参数）、VTAB-1K（ViT-B/16，平均 74.50%，0.27M 参数）与 FGVC（平均 90.38%，0.29M 参数）上取得与代表性 PEFT 基线相当或更好的平均表现，并在 LLaMA-7B 的 Alpaca 子集上做了困惑度试点验证。

该工作提出 GenFT，一种以预训练权重 W0 为条件的参数高效微调方法，用确定性生成器对 W0 做行、列变换并配合共享-专属分解来生成任务专属更新 ΔW，在 GLUE（RoBERTaBase，平均 85.87%，0.24M 参数）、VTAB-1K（ViT-B/16，平均 74.50%，0.27M 参数）与 FGVC（平均 90.38%，0.29M 参数）上取得与代表性 PEFT 基线相当或更好的平均表现，并在 LLaMA-7B 的 Alpaca 子集上做了困惑度试点验证。