跳到主要内容
返回时间线
arXiv来源发表:

分子图网络不再整层读到底:PRISM 让每个原子自选消息传递深度,预训练 GIN 上六项指标四项改善

核心概要

分子性质依赖不同尺度的化学环境,但图神经网络通常对所有原子固定同一传播深度。PRISM 用每个原子自身编码特征生成一个有界标量,把该原子在保留的各层消息传递状态上的权重定位成单峰分布,因此分配深度可解析、随标量单调变化。在相同骨架划分与调参预算下,从头训练的 PRISM 在 ESOL 与 FreeSolv 上取得最低或并列最低平均误差;接到预训练 GIN 上,它在六项终点中的四项优于只读最后一层。

Source-provided article image: Atom-Wise Allocation of Message-Passing Scale for Molecular Property Prediction
Figure 1 · arXiv · 第 4 页

深度剖析

分子图神经网络现在可以按原子分配消息传递深度,而不是让整张分子共享一个传播尺度。 此前的做法是只读最后一层,或对所有原子使用同一套层权重,因此无法让杂原子偏向近邻环境、让芳环碳偏向更远的子结构。 在五份共享的 Bemis-Murcko 骨架划分上,从头训练的 PRISM 在 ESOL 上平均 RMSE 为 0.741,GIN 为 0.746;在 FreeSolv 上为 0.459,与 EquiformerV2 的 0.459 相差 2×10⁻⁴,属于并列。

分配规则本身是一个可插拔的层组合模块,不依赖具体的消息传递算子。 该模块只改变各层状态如何加权求和,编码器、状态库、读出与训练流程保持不变。 把该规则单独接到 GCN、GIN、GAT 三种骨干上,在 12 个骨干—终点组合中有 7 个取得三者最好值;FreeSolv 上相对最后一层读出,GCN 的 RMSE 从 0.951 降到 0.673,GIN 从 0.676 降到 0.596。

每个原子的路由标量由一个输入编码经 tanh 压到 (−1,1),再经裁剪映射为状态库上的中心,配合高斯型层权重形成单峰分布。 单一坐标平移整个权重剖面,使相邻层权重保持耦合,而不是逐层自由取值。 在五层初始化下,路由标量取 −0.8、0、+0.8 时分配指数分别为 0.409、2.000、3.591;训练后的模型中,未裁剪中心的模型内标准差在六个数据集上为 0.70 至 1.18 个索引单位,其中 83% 至 94% 的变化发生在分子内部。

把训练好的层权重在分子内原子间随机置换会抬高误差,说明哪个原子拿到哪套剖面本身携带预测信息。 置换保持分子内剖面的多重集与平均分配深度不变,只破坏原子与剖面的对应关系。 在最终模型上,置换使 Lipophilicity 的 RMSE 升高 0.107、SIDER 的 ROC-AUC 降低 0.024,五项模型上均显著;在预训练状态库上,置换使 ESOL、FreeSolv、Lipophilicity 的 RMSE 分别升高 0.140、0.109、0.219。

启示与展望

演示范围是 MoleculeNet 的 ESOL、FreeSolv、Lipophilicity、BACE、BBBP、SIDER 六个终点在 Bemis-Murcko 骨架划分下的比较,以及 Peptides-struct 上 5 至 15 层的深度扫描;所有图模型只使用分子图,不使用三维坐标。

五次骨架划分之间的标准差与领先模型之间的差距同量级,小于一个划分标准差的差异无法由五次划分分辨;Peptides-struct 深度扫描每个配置只跑一次,且该扫描中分配参数以更低学习率训练并提前固定,因此相对 GIN 的误差优势不能单独归给分配机制。默认路由只读取原子自身描述符,相同输入描述符的原子在任何分子环境中得到相同剖面;学习到的类型到尺度对应是否对应物理长度尺度仍未确定。