跳到主要内容
返回时间线
researchsquare.com来源发表:

口腔耐药组基准换了考法:只看留出簇时Hyena最好,换到外部数据库却是MoR更稳

核心概要

口腔耐药组蛋白序列模型此前缺少排除同源记忆的评测。研究把26,324条蛋白按40%序列一致性聚成1,437个簇,用同一训练流程比较八种因果架构,并在CARD与NCBI AMRFinderPlus上做外部验证。留出簇上Hyena困惑度14.93最低,但外部验证中八种里只有四种优于残基组成基线17.99,参数匹配的MoR以17.40居首,Transformer则退化27%。

Source-provided article image: Adaptive-Depth Recursion And State-Of-The-Art Efficient Sequence Models For The Oral Resistome: A Homology-Aware Benchmark With External Validation
researchsquare.com · 第 21 页

深度剖析

口腔耐药组上的序列模型排名取决于评测怎么划分数据,而不只取决于架构本身。 此前这类蛋白算子没有在能暴露记忆的划分条件下评测过,而耐药基因家族高度冗余,随机划分会让测试蛋白在训练集里有近亲。 按40%一致性聚类后,留出簇上Hyena困惑度14.93±0.58低于Transformer的15.33,但换到CARD外部集,Transformer从15.33升到19.44、退化27%,八种架构中只有四种低于残基组成基线的17.99。

递归式架构在外部蛋白上更稳,算力开销也更低。 固定深度的Transformer在外部验证中退化27%,而压缩、权重共享一类受限架构退化较小。 参数匹配的MoR在CARD上困惑度17.40±0.08、在NCBI AMRFinderPlus上17.36,均为八种中最低;0.79M参数的MoR在4096残基上吞吐1294k tokens/s,是Transformer 225k的5.7倍。

自适应深度确实按残基分配递归次数,而不是均匀花满。 固定深度模型对每个残基都施加同样次数的块运算。 三个随机种子平均下,递归深度一到四层仍活跃的残基比例为100%、70%、42%、22%,每个残基平均施加2.34±0.15次块运算,比固定深度的4次少42%。

启示与展望

评测范围限于从UniProtKB、CARD和NCBI AMRFinderPlus整理出的26,324条口腔菌属耐药相关蛋白,模型为从头训练的小规模残基级语言模型,全部评估均为计算性的,未涉及表型或药敏实验。

语料只覆盖公共数据库已注释为耐药相关的口腔菌属蛋白,属名判定较粗,部分代表属的多数物种并不栖居口腔;药物类别标签是跨两套注释体系的正则映射近似;模型规模小且从头训练,不能与大型预训练蛋白语言模型相比;对与训练集无可检测同源的蛋白,八种架构都没有超过残基组成。