跳到主要内容
检索

# 提示微调

3 篇关联报道

订阅更新
  1. aclanthology.org

    医疗视觉语言模型不只看准确率:1638次受控实验测出置信度校准的薄弱环节

    医疗视觉语言模型的评估长期以准确率为中心,置信度是否可信缺少系统对照。MVC-Bench把校准拆成鲁棒性、校准与提示微调方法有效性、提示模板与随机种子稳定性三条轴,覆盖眼底、组织病理和胸片三种模态、八个骨干与六种提示微调方法,共1638次受控实验。结果显示域内校准排名在域偏移下几乎不保持,30次排名迁移检验的平均Kendall相关系数为−0.0598,且没有一次显著为正;据此提出的多类间隔正则化在12个域内设置中的10个取得最低ECE,域偏移下则只在4个设置中最低。

  2. arXiv

    PromptGate 用联邦可学习提示把开放集联邦主动学习的查询纯度从约 60% 提升到 95% 以上

    PromptGate 提出一种面向开放集联邦主动学习(OS-FAL)的客户端自适应视觉-语言门控模块:在冻结的 BiomedCLIP 上以类特定上下文(CSC)方式学习全局提示(经 FedAvg 聚合)与客户端本地提示,用 VLM 伪标签在查询前把未标注池过滤成高纯度 ID 候选池,再交给任意下游主动学习策略;在 FedISIC 与 FedEMBED 两个联邦医学影像基准上,静态 VLM 提示的 ID 纯度会退化到约 50%,而 PromptGate 保持 95% 以上纯度并达到 98% 的 OOD 召回。

  3. 清华团队综述参数高效微调:LoRA在GPT-3上仅训练4.7M参数即省99.97%并可略优于全量微调

    这篇由清华大学知识工程组撰写的综述系统梳理了面向基础模型(FM)的参数高效微调(PEFT)技术,将方法归纳为选择性、加性、提示、重参数化和混合五大类,并按大语言模型、视觉基础模型、视觉语言模型、视觉内容生成模型和多模态基础模型五类模型结构分别综述其应用,同时基于Semantic Scholar引用量给出三条趋势判断(PEFT整体快速增长;LLM与VFM主导;MFM相对欠探索),并指出可靠性、可解释性和统一基准等未来方向。

已读完全部报道