检索模型改做单次决策:保留检索先验的头在少标注时更稳,交叉头在完整数据上更准
生物医学检索句编码器可以直接改造成一次前向就输出可阈值概率的定型决策模型,交叉头在已见任务上达到66–73分,接近三倍体量的Laya-large微调后的75.0分。
生物医学检索句编码器可以直接改造成一次前向就输出可阈值概率的定型决策模型,交叉头在已见任务上达到66–73分,接近三倍体量的Laya-large微调后的75.0分。
该工作提出Chinese-Jev:用统一数据处理流程把异构中文标注转成候选选项上的概率目标,先以1000万条通用中文决策预训练轻量编码器模型,再分别针对医疗、法律、金融微调,并发布含307,900条留出决策的CJ-Bench;预训练后在通用任务上准确率69.20%,相对闭源Jev提升1.24%,期望校准误差从11.45%降至3.78%,延迟14毫秒,医疗微调后准确率比Jev高4.0%,三个专业领域平均达到Jev的92%,平均延迟15毫秒,INT8量化模型可在手机浏览器上约1秒完成一次决策。
已读完全部报道