跳到主要内容
返回时间线
bioRxiv来源发表:

mRNA基础模型的读出方式换了:按5′UTR、CDS、3′UTR分段取均值,翻译与稳定性预测提高11–25%

核心概要

mRNA基础模型通常把整条转录本的词元嵌入做全局平均,再训练线性探针,短调控区的信号因此被长区域稀释。一种不增加参数的区域感知读出改为在5′UTR、编码序列和3′UTR内分别取均值再拼接,在20个冻结模型上使翻译与稳定性任务的Pearson相关平均提高11–25%,且没有任何模型在回归任务上显著变差。分类任务的AUPRC变化为−3%到+11%。

Source-provided article image: Regional Signals Matter: Rethinking Global Pooling for mRNA Foundation Models
Figure 1 · bioRxiv · 第 2 页

深度剖析

同一批冻结模型、同一次前向计算和同一个线性探针,只把整条转录本的平均向量换成三段区域均值拼接,翻译效率和稳定性的预测就变好了。 此前的mRNABench评测把词元嵌入全局平均成一条转录本向量,5′UTR只占核苷酸的约5–10%,其调控信号在池化中被长区域压过。 在20个模型上,区域读出的Pearson相关比全局平均高0.054–0.092,即11–25%;TE human和TE mouse为20/20个模型显著更好,MRL为19/20,HL为18/20,回归任务上没有一个模型显著变差。

做法是把冻结模型输出的每个核苷酸向量按注释归入5′UTR、编码序列和3′UTR,各自求平均后拼成一个三倍宽度的向量,再交给同一个线性探针。 读出本身不含可训练参数,也不需要改动预训练权重,只用基准数据集里已有的区域坐标。 在mRNABench的十个划分上,对19个已公布模型复现全局平均得分,380个模型–数据集–目标格子的中位绝对差为0.0009;区域读出在同一批模型、任务和划分上评测。

增益依赖真实的区域边界,而不是特征变宽或区域长度、GC含量。 把边界随机放置后,HL、MRL、TE human和TE mouse下降0.053–0.085,20个模型全部下降;把两个边界向5′端移动100 nt,MRL在全部20个模型上下降0.041。 等宽三分段的读出比区域读出低0.017–0.054,两者都用PCA降到模型隐藏维度后仍低0.018–0.054;把区域长度和GC作为特征追加后,区域读出仍高出核苷酸均值0.021–0.055。

启示与展望

结论建立在mRNABench release 1.3的数据集、十个划分和20个冻结模型上,读出只替换池化方式,编码器与探针估计器保持不变;作者提出同时报告两种读出,作为互补评测。

作者明确指出两种读出互补而非区域池化全面占优:全局平均对同义密码子重编码更敏感,在四份MPRA库中同框uAUG的复现也更接近测量值;插入四个ARE或let-7位点后,两种读出的预测变化都不超过打乱对照的0.10个标准差。