DNA-LLM2Vec把因果DNA解码器改成双向编码器:冻结探针下,增益随任务与骨干而变
DNA-LLM2Vec把已预训练的因果DNA解码器分阶段改造成冻结的双向编码器:先打开双向上下文,再用掩码下一词预测修补由此产生的不匹配,最后加入编码链不变性与位置不变性的对比视图。在DNAGPT与HyenaDNA两个骨干、七个生物任务族上,收益并非一致,而是取决于任务结构与骨干;裁剪对比学习对增强子—启动子互作和Virus-COVID这类长上下文任务帮助最大,冻结Avg-EPI MCC分别达到27.5%和26.7%。