临床小模型学会在该停时停：PECA把平均回答缩短72.8%，MedMCQA准确率反升到44.0%
核心概要
面向临床决策支持的小语言模型在微调后往往答得比问题所需长得多，而现有长度控制依赖偏好数据、奖励模型或专有教师模型。PECA在QLoRA监督微调目标中加入一个可微的简洁项：当生成超过token预算后提高结束符概率，无需偏好数据、辅助模型，单张消费级GPU即可训练。在1.7B参数的Qwen3-1.7B-Instruct上，PECA把平均回答长度从256.0个token降到69.7个token，即减少72.8%，同时把MedMCQA选择题诊断准确率从40.8%提高到44.0%。
深度剖析
临床场景中的小语言模型在完成领域微调后，回答长度远超问题所需，即使推理本身正确，过长的输出在床旁也难以直接使用。 此前的参数高效微调方法如LoRA和QLoRA只压缩可训练参数，不约束输出长度；长度控制方法则多停留在偏好优化阶段，需要成对偏好数据或学习到的奖励模型，或依赖专有教师模型蒸馏。 在同一个1.7B参数骨干、同一份医疗思维链数据和同一套QLoRA配置下，只改变训练目标，加入简洁项后平均回答长度从256.0个token降到69.7个token，减少72.8%。
简洁性通过一个可微的结束符概率项实现，模型在训练中学会在预算附近主动停止，而不是在推理时被固定上限截断。 直接对生成的token数量施加惩罚不可行，因为token计数是离散量，对参数的梯度几乎处处为零，无法驱动学习。 PECA在生成超过64个token的预算后，提高每个响应位置上结束符的概率，该项与交叉熵损失相加后进入普通监督训练循环；在1,000条测试样本上，各PECA设置的回答长度分布整体左移并集中在128个token以下。
简洁强度存在一个可解释的准确率与长度前沿，只有轻度设置同时改善长度和准确率。 在简洁强度扫描中，长度在三个设置间变化很小，准确率却差异显著：轻度设置下MedMCQA准确率为44.0%，中度设置降到31.9%，最强设置降到4.6%，此时多数回答只有一两个token。 在1,000条测试样本上，轻度设置的平均长度为69.7个token；在1,000条MedMCQA验证题上，其准确率为44.0%，而原始QLoRA监督微调为40.8%；训练每个条件在单张NVIDIA A10G或L4 GPU上耗时153至163分钟，峰值显存4.4至5.3 GB。
启示与展望
演示范围是Qwen3-1.7B-Instruct在medical-o1-reasoning-SFT语料上经QLoRA微调后的医疗问答，回答长度在1,000条测试样本上评估，诊断准确率在1,000条MedMCQA验证题上评估，训练在单张NVIDIA A10G或L4 GPU上完成。
结果基于单一随机种子和单一模型家族，MedMCQA的绝对分数反映1.7B模型在该基准上的能力上限，而非完整临床决策支持系统的水平；简洁强度过高时准确率急剧下降，最高设置下多数回答仅一两个token。