把氨基酸字母整体改名,ESM-2接触图几乎全丢:蛋白语言模型靠的是字母身份而非协变统计
核心概要
对氨基酸字母做一次全局一一对应的重命名,比对层面的统计量、列熵和成对编辑距离都不变,但ESM-2、MSA Transformer和AMPLIFY的接触图会大幅崩塌,而逆协方差Potts模型逐位不变。在9个蛋白、3个种子上,ESM-2 650M随机重命名20种残基后与自身原接触集的重叠只剩0.015,限制在BLOSUM62同类组内的重命名则保留0.655。这说明这些模型的接触预测依赖规范残基身份,不能当作它们已内化协变统计的证据。
深度剖析
蛋白语言模型的接触图在氨基酸字母被整体重命名后不再保持,而经典协变模型在同一输入上给出完全相同的接触。 接触图的高精度此前常被当作模型隐式学到协变统计、与Potts等基于比对的方法提取同一信号的证据。 在9个蛋白、3个种子上,ESM-2 650M随机重命名20种残基后与自身原接触集的重叠降到0.015;MSA Transformer读同一批重命名比对时降到0.147,而逆协方差Potts在全部136个格子里重叠为1.000。
崩塌取决于换上了哪些字母,而不只是序列被改动了多少位。 重命名会改变许多位点,因此退化也可能只来自编辑距离变大。 在细胞色素c上,同类组内重命名与两种匹配替换都改动104个位点中的76个,同类组内重命名保留0.699的重叠,均匀随机替换和组成匹配替换都只有0.013。
模型规模扩大不会消除这一效应,反而拉大同类组内与随机重命名之间的差距。 语言模型损失随规模可预测地改善,容易让人期待接触读出也随之变得更接近协变推断。 在ESM-2从8M到3B的五个规模上,随机重命名的重叠从0.042变到0.035,基本停在零附近,而同类组内重命名的重叠随规模上升。
启示与展望
实验覆盖9个蛋白、4个Pfam家族、三种读出(分类雅可比接触、ESM-2自带监督接触头和ProteinGym变异效应)以及三个蛋白语言模型家族,蛋白均为短小单域;未测试多结构域蛋白、浅比对家族,也未测试在重命名语料上重新训练或微调的模型。
重命名不变性是接触读出为列统计量纯函数的必要条件而非充分条件,这些干预分离出字母锚定现象但没有确定其成因;同类组内重命名对接触图的保护程度因蛋白而异,在protein G B1上同类组内与随机两臂在m=20时都接近随机水平。
