噬菌体DNA模型改走双向去噪:可见错误碱基里,CPDD一次前向修正42.4%
核心概要
自回归DNA语言模型只能从左往右生成,而基因组修复与编辑往往同时依赖两侧序列。CreatiPhage团队把144.5M参数的噬菌体自回归模型改造成147.5M参数的双向离散扩散模型CPDD,在522个经筛选的噬菌体编码序列上,随机掩码恢复准确率高于同类扩散模型PhaGen,混合损坏测试中一次前向把42.4%的可见错误碱基改回正确碱基。
深度剖析
噬菌体基因组建模多了一条“保留已知骨架、只重建不确定区段”的路径:CPDD在给定上下文里同时填补掩码位点并改写可见的错误碱基,而不必从序列开头逐位生成。 此前的自回归DNA语言模型按从左到右的顺序生成,双向编码器只学表示、不直接生成,因此以两侧序列为条件的区段重建缺少对应工具。 在522个编码序列、70个Mash簇的筛选面板上,5%掩码时CPDD与PhaGen的单次恢复准确率为0.470和0.451,50%掩码时为0.406和0.392,两者都高于仅用密码子位置频率的规则(0.308–0.337)。
模型把可见碱基当作证据而非固定真值,因此能纠正输入中已经写错的位点。 只做掩码训练的扩散模型没有专门处理可见替换的训练信号,可见错误纠正对它属于改造后的压力测试。 在30%位点损坏、其中10%留作可见替换的混合损坏协议下,CPDD与PhaGen恢复的可见错误比例为42.4%和22.7%;全部损坏可见时为33.8%和18.8%,CPDD原样保留的可见错误比例为20.7%,PhaGen为52.0%。
改造保留了预训练骨干,只把因果结构换成双向结构,并让记忆模块能处理掩码符号。 从零训练扩散语言模型需要重新学习序列特征,而从自回归检查点转换可以复用预训练权重。 CPDD由训练六轮的CreatiPhage检查点初始化,保留13层Transformer、Block Attention Residuals与Engram条件记忆,加入非因果注意力、以MASK为第五种索引的base-5 Engram、中心化深度可分离卷积和位置对齐的碱基读出,参数由144.5M增至147.5M。
启示与展望
评测对象是噬菌体编码序列:522个编码序列组成的主面板、100个功能模块面板、24个来源代表序列和32个编码序列的拷贝测试,全部为计算评估,未涉及实验测定的生物学功能。模型接口在保留的骨架内恢复固定长度目标,插入、缺失和整基因组协同设计被列为后续方向。
长间隔恢复的表现接近密码子使用统计:整段编码序列被掩码时CPDD达到0.361,落在仅用碱基或密码子位置频率的规则区间0.264–0.372内,距已知蛋白条件下可达的0.771–0.868尚远,因此单凭核苷酸一致率不能证明恢复了原始基因。把完整编码序列副本放在同一输入的其他位置,在50 bp到16 kb间距上未带来一致的恢复优势;在8个带拷贝上下文上做400步监督更新后,留出上下文恢复仍约0.15,完整副本与打乱副本表现相近,CPDD的残基加权配对差为0.005(95%区间−0.014至0.019)。此外,评测面板虽按已记录的训练范围筛查,仍富集铜绿假单胞菌相关噬菌体,远缘同源无法排除,CPDD也不保证反向互补等变。
