跳到主要内容
返回时间线
arXiv来源发表:

冻结模型不必重训:结构化重解码把FLOWR验证交付从419提到1309

核心概要

预训练生成模型通常只能从已生成的完整输出里筛选,局部打分中可行的组合被浪费。结构化重解码(SRD)在不改动模型参数的前提下,把模型打分或样本中的局部候选按任务约束联合选择、重建并验证。在FLOWR分子生成上,同一生成预算下,单目标组成与质量成功从best-of-4的419/1800升到1309/1800,双目标从119升到615;质量通过率则从99.833%降到94.389%。

Source-provided article image: Expanding the Decision Space of Pretrained Models through Structured Re-Decoding
arXiv

深度剖析

预训练模型交付新结构约束下的对象时,不再只能从已生成的完整输出里挑,局部候选可以被重新组合成新的完整输出。 此前的做法是在有限个完整模型输出池里筛选,只能交付模型已经生成过的对象;局部打分或观测状态里满足新任务规格的组合无法进入交付。 在FLOWR的1800个请求(225个口袋、8个种子、每请求4个完整生成)上,单目标组成与质量成功由best-of-4的419升到1309,双目标由119升到615,差值分别为49.444和27.556个百分点,按口袋聚类的95%区间为[45.167, 53.611]和[24.056, 31.056]。

做法是把输出拆成可编辑的局部单元,为每个单元列出候选状态,再在任务约束下联合挑选并重建整个对象。 候选来自冻结模型的终端打分(原子、电荷、键)或对齐后的样本状态,也可以来自外部化学定义;模型参数全程固定。 选择问题写成二次无约束二值优化(QUBO,一种把成对偏好和约束惩罚都写成二次项的0-1优化形式),FLOWR用同一目标比较局部搜索与全域搜索,两者成功率只差0.111和0个百分点。

重建后的对象要经过验证,不合格时回退到原始输出,因此交付的是通过化学与几何检查的结构。 验证区分编码可行性、定义域有效性和下游可用性,任务策略对通过者排序,全部不通过时返回带真实有效性标记的原始输出。 带首输出回退的全域重解码在单目标和双目标上分别有94.389%和94.111%的请求通过质量检查,best-of-4筛选为99.833%。

启示与展望

演示范围是冻结模型输出上的推理期重解码:FLOWR的1800个请求、六个四站点ProteinMPNN结构域、7215条UFold RNA记录和50个DiffAb复合物的3600个嵌套案例,外加非天然氨基酸、环化与肽语法等能力研究。读者对象是希望在不重训模型的前提下施加新结构约束的生成建模研究者。

FLOWR的增益混合了终端打分候选构造、组成引导与验证选择三者的作用,单独归因需要匹配编辑权限的目标导向对照;SemlaFlow上整样本筛选仍更强。RNA训练与开发重叠、DiffAb检查点训练归属未定,限制独立泛化结论;环化与硫醚设定中近天然构象恢复仍未解决。