DNA-LLM2Vec把因果DNA解码器改成双向编码器：冻结探针下，增益随任务与骨干而变
核心概要
DNA-LLM2Vec把已预训练的因果DNA解码器分阶段改造成冻结的双向编码器：先打开双向上下文，再用掩码下一词预测修补由此产生的不匹配，最后加入编码链不变性与位置不变性的对比视图。在DNAGPT与HyenaDNA两个骨干、七个生物任务族上，收益并非一致，而是取决于任务结构与骨干；裁剪对比学习对增强子—启动子互作和Virus-COVID这类长上下文任务帮助最大，冻结Avg-EPI MCC分别达到27.5%和26.7%。
深度剖析
因果DNA解码器只按单向上下文编码，而许多基因组任务需要同时看到位点上下游两侧的序列；DNA-LLM2Vec把这类解码器改造成冻结的双向编码器，使冻结线性探针可以直接读取双向表示。 此前的双向上下文主要来自掩码语言模型编码器，这类模型只监督约15%被遮住的位置，且长窗口上扩展代价高；因果解码器则对每个词元都有监督、更易扩展到长序列，但表示是方向性的。 在DNAGPT与HyenaDNA两个骨干上，按七个生物任务族比较各改造变体相对骨干自身因果基线的冻结线性探针差值，结果显示收益随任务族与骨干变化，没有单一配方全面占优。
改造分三步完成：先去掉因果掩码或把长卷积双向合并，让每个位置能读到两侧；再用掩码下一词预测，仍由前一位置预测被遮住的词元，从而复用预训练已有的预测头。 直接给解码器加掩码词元做标准掩码语言模型微调会遇到词表不匹配，因为自回归预训练中从未出现过掩码词元；掩码下一词预测保留“前一位置预测当前词元”的因果约定，避开这一不匹配。 DNAGPT用LoRA在hg38的1024词元窗口上适配，HyenaDNA在8192 bp核苷酸窗口上全量微调；对比阶段从同一第二阶段检查点分出丢弃、反向互补、裁剪和局部平移四种正样本构造。
在长上下文任务族上，裁剪对比学习是两个骨干共同的最优视图，DNAGPT的六个EPI任务提升7.8到22.6个百分点MCC，Virus-COVID提升15.2个百分点macro-F1。 短上下文任务族的响应则依赖骨干与分词方式：DNAGPT上反向互补视图对组蛋白修饰、局部调控元件、转录因子结合和启动子任务平均响应最强，而剪接任务所有改造变体都低于因果基线。 HyenaDNA同样在全部EPI任务上提升9.2到13.9个百分点MCC、Virus-COVID提升20.2个百分点macro-F1，但其增益随序列长度增长的趋势更弱，因为若干较短的组蛋白、启动子和剪接任务也有明显提升。
启示与展望
结论建立在一个人源DNAGPT规模和一个HyenaDNA骨干上，评估使用四个公开基准套件的全部任务并按七个生物任务族聚合，主要协议是冻结线性探针，全量微调作为补充分析。变体效应预测只在HyenaDNA上进行，以保持参考窗口与替代窗口在单碱基分辨率上逐位对齐。
预训练价值与裁剪起点两项对照只用了单一种子，应视为主要效应的指示而非方差量化估计。GUE+ EPI基准是序列级而非坐标解析的，Virus-COVID与剪接等小任务族属于描述性观察，需要更广验证。分词方式、序列算子与上下文长度的影响无法在缺少匹配对照的情况下完全分离，这些仍是可能 contributor 而非已证机制。