检索模型改做单次决策:保留检索先验的头在少标注时更稳,交叉头在完整数据上更准
导语
生物医学检索句编码器可以直接改造成一次前向就输出可阈值概率的定型决策模型,交叉头在已见任务上达到66–73分,接近三倍体量的Laya-large微调后的75.0分。
正文
生物医学检索句编码器可以改造成定型决策模型:一次前向就给出每个选项的概率,供代码按阈值采取行动、推迟或上报。 此前的System One模型都是通用领域,从掩码语言模型或解码器检查点出发,没有生物医学版本,也没有检验检索训练是否是更好的起点。 在六个共享父模型的检索器配对上,交叉头在已见任务上达到66–73分,温度缩放后最高标签ECE低于6(MedCPT-Query除外),而微调后的Laya-large为75.0分、参数量约为其三倍。
转换方式决定检索训练是否帮得上忙:保留检索先验的PFR头把交叉分数加在检索先验上,交叉头则用两层transformer对状态与假设联合编码。 检索相似度本身不编码否定、序数判断或校准过的真值,所以检索训练能否迁移到定型决策此前没有答案。 在15个配对与数据量比较中,检索训练对PFR在10个比较中显著更好、仅1个更差;对交叉头则1个更好、5个更差,且交叉头在全部五个共享目标上以1.3–2.4分超过PFR。
发布的RLCD配方落后于普通交叉熵,差距主要来自它的奖励归一化。 RLCD把交叉熵与对噪声扰动logits的策略梯度混合,此前被视为开放System One模型的训练配方。 在匹配网格中PG比交叉熵低3.0分(PFR)和2.5分(交叉头),其估计量被归一化放大3.6–15倍;改用留一法基线的PG-LOO追回2.5分和1.5分,温度缩放后没有哪个目标在校准上明显更好。
接下来
下一步可以在自己的句编码器上套用这四种转换,先用交叉头加交叉熵做单条请求的决策,需要低选项顺序敏感性或编码器的掩码槽状态退化时改用PFR,需要拿一个语料去筛很多问题时用双编码器B。少标注场景优先考虑保留检索先验的PFR,因为检索训练在那里最稳定地带来增益。长临床笔记可以试检索后决策,但基础编码器上多数策略仍接近随机。
MEDLINE-S1的标签来自NLM索引,属于弱标签,缺失不等于为假;少量训练输入重复出现在校准与测试划分中,作者报告了去掉后分数下降0.3–0.4分但未重新训练或重拟合温度。已见任务上的低ECE不代表新任务上校准良好,交叉头的选项顺序敏感性在分布偏移下变大,阈值应在域内样本上验证。临床测试规模小、来自单一医院系统且使用替代姓名,长笔记策略对基础编码器仍接近随机,发布的模型只在公开数据上训练。
