跳到主要内容
检索

# LoRA适配器

8 篇关联报道

订阅更新
  1. arXiv

    一个训练步的中间值就够抄走LoRA适配器:VeilTune把前向、反向与Adam更新整体搬进安全多方计算

    现有安全微调协议把每一步的隐藏表示或logits交给数据方,数据方据此就能复制服务方的LoRA适配器:仅一个含32条样本的小批量,隐藏表示即可让复制品在99.2%的测试输入上与原件一致,只用logits也约94%。VeilTune改为在安全多方计算中完整执行前向、反向传播与Adam更新,只把训练好的适配器交给模型方,在RoBERTa-large的四个少样本任务上平均比SecP-Tuning高5.3个百分点,并与明文训练相差0.3至1.7个百分点。

  2. arXiv

    音频语言模型听不全录音:补上声学信息后,结构任务准确率最高涨44.4个百分点

    音频语言模型的基准分数可能把语言能力误当成声学理解。研究用合成朗读和转写文本作参照,在6个基准的92项任务上测量原始录音相对文字的增益,发现19个开源模型在说话人、情绪等整体属性任务和重音、语调等录音内结构任务上落后Gemini 3.1 Pro 28.6和41.9个百分点,其中约一半以上来自录音增益。在Gemma-4 12B和Qwen2.5-Omni-7B的读出下降层训练LoRA适配器并加内容锚点后,两类任务准确率提升12.8至44.4个百分点,词汇任务平均准确率保持在基座模型1个百分点以内。

  3. arXiv

    AutoAdapt 用自动潜在领域发现训练独立 LoRA 适配器,在 14 个基准上与全领域单适配器持平并支持免重训扩展

    AutoAdapt 提出一种模块化指令微调框架:先用 K-means、BERTopic 与 MNLI 三种方法自动发现潜在领域,再为每个领域独立并行训练一个 LoRA 适配器,并在推理时用基于质心的无参数路由;在 14 个领域基准与 GPT-4o 成对评判中,其表现与在全部领域上训练的单 LoRA 适配器相当,且新增或更新领域只需训练单个适配器而无需全模型重训。

  4. arXiv

    研究者用归因相似度区分忠实与不忠实的自我报告模型,忠实模型均值0.34对不忠实0.08

    该研究在受控设定下用低秩适配器让模型按隐藏的线性偏好函数为虚构角色做二选一决策,发现仅靠决策任务微调即可在无自我报告监督下涌现出准确的偏好自我报告,且忠实模型在决策与自我报告两项任务上的归因相似度显著更高(均值0.34对0.08,配对自助法95%置信区间[0.16,0.36]),从而无需理解报告内容即可区分忠实与不忠实的自我报告。

  5. arXiv

    PReCache 用低秩预计算与中性重建共享多 LoRA 智能体的 KV 缓存,在几乎不掉点的情况下把 TTFT 最多降低数倍

    该工作提出免训练的 KV 缓存共享框架 PReCache,包含 PreLRShared 与 ReBaseShared 两种设计:前者在共享上下文首次被处理时为所有智能体预计算紧凑的智能体专属低秩缓存,从而免除后续智能体对已处理轨迹的重复 prefill;后者进一步用无适配器的隐藏状态重建共享基础缓存以降低对上一个智能体的依赖,并给出面向单流推理的 lazy prefill 与面向并发服务的 double batching 两种调度;在 LLaMA-3.1-8B-Instruct 与 Ministral-8B-Instruct 上、HotpotQA 与 ScienceQA 两个基准中,ReBaseShared 相对无缓存共享推理的平均精度

  6. arXiv

    CARD 用聚类 LoRA 加解码期偏好向量,在 LaMP 与 LongLaMP 六项任务中 12 个指标拿下 10 项第一

    CARD 提出一种分层个性化文本生成框架:先按写作风格把用户聚类并为每个簇训练共享 LoRA 适配器,再用对比用户文本与簇级生成结果的隐式偏好学习得到轻量用户偏好向量,推理时仅通过低秩 logit 修正进行解码期个性化,在 LaMP 与 LongLaMP 六个任务、两个指标共 12 个设置中排名第一的有 10 个,并在低资源用户、跨模型规模与存储效率上表现稳定。

  7. arXiv

    AuthorMix:通过逐层适配器混合实现模块化作者风格迁移

    该工作提出 AuthorMix 这一轻量、模块化且可解释的作者风格迁移框架:先在少量高资源作者上训练各自的风格专用 LoRA 适配器,再通过基于强化学习的逐层适配器混合,仅用少量目标风格训练样本即可快速为新目标作者构建专用适配模型;据摘要报告,AuthorMix 在综合风格—语义得分上位列所有基线(包括 GPT-5.1)之首,相比经过训练的基线显著改善语义保持,并在人工评估中成为唯一在每个维度上都最优或并列最优的方法。

  8. medRxiv

    利用患者健康状态生成模型识别癌症高风险人群

    该研究提出GenEHR——一个在数百万患者电子健康记录上训练的自回归生成模型,通过RAdix时间编码显式建模就诊间不规则时间间隔,并结合参数高效的门控低秩适配进行监督微调,在五个大型电子健康记录队列中提升了五年内首次癌症诊断的预测性能,并支持对胰腺癌、卵巢癌等侵袭性癌症进行风险分层筛查。

已读完全部报道