基于子图的3D蛋白质结构几何自监督预训练
核心概要
本文提出一种新的3D图神经网络自监督预训练任务：在AlphaFold数据库中542k个SwissProt蛋白质结构上，预测蛋白质各子图（以10%氨基酸为中心的2-hop ego网络）的几何质心与整个蛋白质全局几何质心之间的欧氏距离（离散为10个等宽区间并以交叉熵分类），在ProNet、SchNet、GCN三种骨干与ca_base、ca_angles、ca_bb三种特征化方案下，于Fold、Superfamily、Family与React分类任务上相较无预训练与边距离预训练基线取得最高约6%的提升，且无需多视图、增强或掩码策略。
the cross-entropy loss instead. An overview of the proposed pipeline is illustrated in Figure 1.
· 第 4 页深度剖析
提出以子图质心到全局质心距离为目标的几何自监督预训练任务，替代传统的节点或边掩码。 既有图预训练多依赖节点/边属性掩码或对比学习（如GraphCL、DGI），需要多视图或增强；本文改为预测子图几何质心与蛋白质全局质心的欧氏距离，将回归离散为10个等宽区间的分类问题并用交叉熵损失优化。 方法在ProNet、SchNet、GCN三种骨干与三种Cα特征化方案上实现，并在ProteinWorkshop库中与边距离预训练基线做对照，报告三次不同随机种子的均值与标准差。
在多个下游蛋白质分类任务上，子图距离预训练一致优于无预训练与边距离预训练。 相较边距离预训练这一同样学习几何/距离信息的基线，本文任务在Fold、Superfamily、Family与React任务上普遍更高；例如SchNet在ca_angles下Super-Family提升4.78%，在ca_bb下提升5.85%。 结果来自Fold数据集（16,712个蛋白质、1,195个fold，训练12,312/验证736，测试Fold 718、Superfamily 1,254、Family 1,272）与React数据集（37,428个蛋白质、384个EC号，训练29,215/验证2,562/测试5,651），报告三次运行的均值与标准差。
预训练任务自身的表现与下游任务表现呈正相关。 作者观察到在ca_angles与ca_bb特征化下预训练准确率更高的模型，其下游表现通常也更好，作者将此与语言建模中预训练表现预示下游表现的观察相类比。 依据SchNet与GCN在10个预训练epoch上的准确率与交叉熵损失曲线（图2、图3），其中schnet_ca_bb最终损失最低。
方法计算开销低，且可适配任意能编码3D蛋白质结构的骨干。 子图表示直接取自GNN最后一层节点表示，每个图只需一次前向传播；子图计算可作为一次性预处理存储，从而消除额外开销。 论文在方法部分给出复杂度说明，并将实现集成进ProteinWorkshop库并公开源码。
启示与展望
该结果面向以Cα原子为节点、k=16近邻连边、氨基酸类型为节点特征、序列距离为边特征的3D蛋白质图，并在AlphaFold数据库542k SwissProt结构上预训练；下游评估限于Fold、Superfamily、Family与React分类任务，骨干限于ProNet、SchNet、GCN，特征化限于ca_base、ca_angles、ca_bb。作者指出未来将探索不同子图选择策略以及与其他预训练任务结合，因此该预训练任务可直接用于需要几何与层次结构感知的蛋白质表示学习场景，并可作为其他3D图模型预训练的起点。
预训练任务与下游表现的正相关目前基于SchNet与GCN在10个epoch上的曲线观察，其在不同数据规模与更长训练下的稳定性仍待检验；子图选择固定为以10%氨基酸为中心的2-hop ego网络，其他子图选择策略的影响尚未展开；方法在本文所列分类任务之外的表现、以及与其他预训练任务组合的效果，作者列为未来工作。