DNA语言模型换个读链就改答案：MirrorDNA把切分点做成镜像，两条链给出同一预测
核心概要
DNA语言模型通常只按一条链切词、训练和测试，同一段序列反向互补后预测会变。MirrorDNA用一个对称路由器让两条链在镜像位置切分，并证明整条模型对反向互补等变。在12个链对称的Nucleotide Transformer任务上，它两条链的MCC都是0.491，而NT-v2、DNABERT-2和HyenaDNA只有0.152、0.187和0.080。
深度剖析
DNA语言模型对同一位点的两条链给出不同答案，这一不一致来自切词方式本身。 BPE和6-mer切词器在两条链上把92%到100%的转录因子基序切成不同片段，NT-v2、DNABERT-2和HyenaDNA在测试序列反向互补后改变25%到31%的预测。 在12个链对称的Nucleotide Transformer任务上，只统计两条链都预测正确的序列，这三个模型的MCC分别为0.152、0.187和0.080，而正向链上是0.51到0.54。
MirrorDNA让两条链在镜像位置断开，因此同一段DNA在两条链上得到互为反向互补的片段。 做法是把相邻碱基差异打分与其镜像版本取平均，得到对称的切分分数，再用共享权重的编码器分别沿各自5′到3′方向读两条链。 在2,000个随机1 kb窗口上，两条链切分点集合的Jaccard指数为1.00，JASPAR基序在两条链上被切成不同片段的比例为0%。
对称性贯穿整个模型，因此链对称标签上两条链输出相同，链相关标签仍可区分。 分块变换器和解码器都做群平均，主干上接一个不变头和一个方向感知头，前者在两条链上给同一答案，后者保留方向信息。 在12个链对称NT任务上，MirrorDNA两条链的MCC均为0.491，高于所有非等变模型（Wilcoxon p<0.001），与同为等变的Caduceus-PS-1k的0.487无显著差异（p=0.15）。
2.3M参数的MirrorDNA在多个基准上接近参数量大得多的模型。 MirrorDNA与1 kb版Caduceus使用相同的预训练数据和token预算，参数量为2.3M。 在Genomic Benchmarks上为0.751，对98M参数的NT-v2的0.741不显著（p=0.36）；在NT任务上为0.618，对117M参数的DNABERT-2的0.631不显著（p=0.42）。
启示与展望
演示范围是人类DNA、1 kb窗口预训练的2.3M参数模型，评测覆盖18个Nucleotide Transformer任务、9个Genomic Benchmarks、2个RefSeq基因链任务和DeepSTARR增强子活性回归，结果取三个随机种子的均值。
作者指出MirrorDNA规模小且只用人DNA预训练，在NT任务上仍低于NT-v2，在Ensembl调控元件上低于单核苷酸模型，在DeepSTARR上略低于Caduceus；扩展规模、多物种数据、变异效应和长程任务尚待测试。基因链任务只是近似满足不变头无法读取方向的条件，并非按构造满足。