蛋白语言模型内部藏着一张“水母”图：疏水比例定主轴，七肽相位绕成环
核心概要
ESM2 的残基嵌入里，极性/非极性二元模式被组织成可读的几何结构。把全部 128 种七肽二元模式各生成 50 条序列、共 6400 条一起做保留位置的 PCA，前三个主成分构成“水母”形流形：疏水比例沿 PC1 展开，PC2 与 PC3 以近似正弦、余弦的方式编码七肽相位。换成电荷字母表仍有序，打乱氨基酸分组或改用非蛋白模型 ByT5 后这种环状组织消失。
深度剖析
蛋白语言模型的嵌入空间里，一条序列的极性/非极性排布可以被压缩成少数几个可解释的方向，而不只是难以解读的高维向量。 此前对这类模型的解读多依赖探测单个结构或功能属性，缺少一个由实验验证过的设计体系来标定其表示。 在 5900 条长度 62 至 120 个螺旋残基的二元模式序列上，第一主成分占残基嵌入方差的 18.6%，并与氨基酸疏水性高度相关，沿序列呈约每圈 3.6 个残基的正弦起伏。
把分析扩展到全部 128 种七肽二元模式后，这些模式在共享表示空间中排成一个有规则的几何体。 单个模式内部的周期信号此前只在少数螺旋兼容模式上看到，模式之间如何相互关联尚不清楚。 对 6400 条序列做保留位置的联合 PCA，PC1 解释 9.3% 的总方差并按疏水含量分开序列，PC2 与 PC3 各约 4.7%，把循环置换等价的模式排成闭合环，整体呈“水母”形。
这种几何形状依赖氨基酸的化学含义，而不只是序列的重复性。 若模型只做通用重复识别，任意二元分组都应给出同样的有序结构。 换成电荷正负字母表仍得到类似的有序流形，但用任意氨基酸分组时组织被强烈破坏；输入层嵌入、随机初始化的 ESM2 和非蛋白语言模型 ByT5 都没有出现这种环状组织。
启示与展望
分析对象是 ESM2 的 30 亿参数模型 esm2_t36_3B_UR50D 的末层残基嵌入，序列为四段式二元模式合成库，结构侧由 ESMFold v1 以三次循环预测；结论限于这一模型、这一序列框架和这一预测器所覆盖的范围。
模型未能区分单个设计是否成功折叠，ESMFold 对 Kamtekar 设计的紧凑度预测与协同折叠或寡聚行为不相关；数据库同源序列分析也无法排除较短共享基序的贡献。