RNA逆向设计不再逐个骨架重训:共享策略一次后训练,配对MCC从0.61升到0.73
核心概要
结构条件RNA逆向设计此前要么为每个目标骨架单独训练策略,要么依赖离线偏好优化,可复用的骨架条件模型缺少在线后训练。MORAD把六个设计测量映射到有界合意分数,用加权几何平均合成奖励,再以组相对归一化驱动扩散模型的前向过程更新。在153个评测目标上,它把GDT-TS从0.3300提到0.3827、配对MCC从0.6110提到0.7295,并把归一化系综缺陷从0.3906降到0.2830。
深度剖析
同一套策略权重现在可以服务多个目标骨架,不必为每个骨架各训一份。 此前的强化学习路线要么对每个目标骨架单独优化策略,要么走离线偏好优化,可复用的骨架条件模型在线后训练基本没被探索。 在153个评测目标上,用同一个检查点比较三级结构、二级结构和热力学指标,MORAD在16个有偏好方向的指标中拿下14个最好均值。
训练时先让策略对每个目标采样一组候选序列,再由打分器给出奖励。 奖励不再只看三级结构,而是把三级几何、碱基配对、系综行为和序列组成这六项测量各自映射到有界合意分数,再用加权几何平均合成一个标量。 组内统计把奖励转成候选权重,用于前向过程的正负去噪分支更新;结构项占名义权重的85%,三项辅助项仍直接参与候选排序。
奖励设计的差别被单独隔离出来验证。 对照策略只奖励三级结构,与MORAD策略共用同一份预训练RIDE、同一批数据、同一优化器和同一训练计划,唯一变量是奖励。 在11个有偏好方向的指标上,多目标奖励赢下10个,包括GDT-TS从0.3627升到0.3694、MCC从0.6612升到0.6978;唯一落后的是MFE结构频率0.3847对0.3880。
启示与展望
实验在单个10.2M参数的RIDE骨架上完成,说明的是这套模块化接口在紧凑模型上的表现,同样的接口可以容纳更大的结构条件骨架。奖励打分和三级结构评测都使用RhoFold+预测器,与当前RNA设计强化学习的做法一致;实验结构验证属于这项计算研究之外的独立步骤。奖励覆盖平衡态折叠性质,动力学和功能相关目标被列为奖励的后续扩展方向。
评测集与训练集独立构建,归一化后没有完全相同的序列,但每个评测目标对训练集的最大序列同一性中位数为0.62,残余相似度被保留而非剔除。配对评测使用从天然三维结构提取的碱基对,仅137个目标可用,其余16个短RNA没有配对参考。报告的是最后一个检查点,没有验证集用于选择检查点;训练中每十次更新做一次留出评测,共40次观测,与最终评测是分开的运行。
