清华团队综述参数高效微调:LoRA在GPT-3上仅训练4.7M参数即省99.97%并可略优于全量微调
这篇由清华大学知识工程组撰写的综述系统梳理了面向基础模型(FM)的参数高效微调(PEFT)技术,将方法归纳为选择性、加性、提示、重参数化和混合五大类,并按大语言模型、视觉基础模型、视觉语言模型、视觉内容生成模型和多模态基础模型五类模型结构分别综述其应用,同时基于Semantic Scholar引用量给出三条趋势判断(PEFT整体快速增长;LLM与VFM主导;MFM相对欠探索),并指出可靠性、可解释性和统一基准等未来方向。