跳到主要内容
返回时间线
arXiv来源发表:

RNA基础模型不再只靠堆参数:80M模型复用同一核心,四次迭代在70项适应度实验上超过40B的Evo 2

核心概要

Eco-RNA把推理深度变成可调资源:同一个80M参数检查点重复执行共享核心,在70项RNAGym适应度实验上把聚合绝对Spearman相关从0.242提到0.286,四次迭代即超过40B的Evo 2。

Source-provided article image: Scaling RNA Foundation Models through Iterative Refinement
Figure 1 · arXiv

深度剖析

RNA基础模型的推理深度现在可以在训练后单独选择,而不必重新训练或更换检查点。 此前的RNA基础模型把参数容量和推理深度绑在固定架构里,每个检查点只执行一次预设的计算图。 在70项RNAGym适应度实验上,把精化迭代从一次增加到四次,聚合绝对Spearman相关从0.242升到0.286,相对提升18%,这一增益到八次迭代仍然保持。

共享核心每次迭代都重新拿到原始序列信息,同时只保留前一步状态的一部分,因此重复执行不会丢掉输入。 方法名为Eco-RNA,是一种学习式迭代精化:一个输入条件化的Transformer核心被反复应用,迭代次数在训练后选择,参数总量不变。 训练在采样的终止深度上做掩码重建,并加入相对终端位移正则和单侧重建锚,后者只在深层端点的重建损失高于同一轨迹上的浅层参考时追加监督。

深度带来的收益随预测粒度变化,粗粒度分类早早饱和,细粒度输出在更大深度上仍有小幅改进。 在nRC十三类家族分类上,准确率在四次迭代达到98.69%后基本不再上升。 在114836条留出序列的化学探测反应性预测上,三种探针均值到八次迭代才达到最佳观测值;bpRNA TS0二级结构从一次到八次迭代召回率提高3.3个百分点,精确率维持在83%到84%。

启示与展望

报道覆盖的是Eco-RNA在RNAGym适应度预测、nRC家族分类、bpRNA TS0二级结构预测和Ribonanza化学探测反应性预测上的评测结果,读者是RNA序列建模与生物基础模型方向的研究人员和工程师。适应度预测使用预训练检查点直接打分,不做事任务微调;分类、结构和反应性任务各自从同一个Stage-B预训练骨干微调出独立副本,扫描深度时检查点和预测头保持固定。模型权重、推理代码和评测配置计划在稍后公开发布。

深度收益在不同任务上饱和深度不同,拼接与适配体实验的改进最大且首次迭代分数最低,编码实验改进更平缓。同一实验内不同指标偏好的深度也可能不同,拼接的Spearman相关和AUC在四次迭代达到峰值,而绝对MCC在八次迭代仍在上升。作者据此建议按实验和指标用验证集选择深度,而不是固定一个深度。