跳到主要内容
检索

# QLoRA微调

2 篇关联报道

订阅更新
  1. arXiv

    临床小模型学会在该停时停:PECA把平均回答缩短72.8%,MedMCQA准确率反升到44.0%

    面向临床决策支持的小语言模型在微调后往往答得比问题所需长得多,而现有长度控制依赖偏好数据、奖励模型或专有教师模型。PECA在QLoRA监督微调目标中加入一个可微的简洁项:当生成超过token预算后提高结束符概率,无需偏好数据、辅助模型,单张消费级GPU即可训练。在1.7B参数的Qwen3-1.7B-Instruct上,PECA把平均回答长度从256.0个token降到69.7个token,即减少72.8%,同时把MedMCQA选择题诊断准确率从40.8%提高到44.0%。

  2. arXiv

    临床记录生成不再全靠前沿模型:4B小模型加验证栈,四分之三病例留在本机,接受率与前沿持平

    临床对话转SOAP记录量大且不容许编造,一个4B参数的小模型配上固定的四评审验证栈后,在事实蕴含上接近前沿模型,缺口集中在章节间结构排布。把验证器的拒绝当作升级信号,端到端接受率达到99.6%,与只用前沿模型的98.4%在统计上无法区分,同时四分之三的病例不再调用前沿生成。

已读完全部报道