分子结构选择题换了问法:把谱图打乱或替换,看模型是否真的在用证据
核心概要
MolP2SBench 把分子性质到结构的推理改成带掩码骨架的多选题,并加入打乱与反事实替换两种干预,用来区分模型答对与模型真的用了所给性质。评测七个模型后发现,同一性质通道上的准确率高低并不对应模型对该性质变化的敏感程度,例如模型可能更受益于 1H NMR 却更少在 1H 数据被替换时改变选择;模型表现也不总与化学家对这些性质难度的直觉一致。
深度剖析
分子结构预测的评测不再只看最终答案对不对,而是看答案是否随所给物理性质变化。 此前的评测以端到端分子重建为主,模型可能靠结构先验答对,而所给性质证据几乎不参与决策,聚合准确率也无法说明哪些性质通道真正被使用。 基准把每个任务做成掩码骨架加候选列表的多选题,并对同一任务分别提供正确配对性质、打乱配对性质和来自同族另一候选的反事实性质,用三种条件下的选择差异来判断证据是否被使用。
基准用性质锚定恢复率作为主指标,并配两个诊断指标分别刻画静态依赖与动态响应。 单一准确率会把依赖正确配对与对反事实替换的响应混在一起,而这两种能力在通道上的排序并不相同。 性质锚定恢复率对源恢复与候选定向反事实恢复各占一半权重,并先在族内平均以抵消候选数差异;依赖边际比较正确配对与打乱配对下的准确率差,反事实翻转率统计初始答对后改选对应反事实候选的比例。
基准覆盖 11 个性质通道、136 个任务族,共 1496 条源性质实例与 2766 条族内反事实替换。 此前缺少在同一骨架与同一候选集合下、按通道对齐并可直接替换性质的评测集合。 候选族由掩码骨架匹配、结构互异补全和通道分离阈值筛选构成,性质取自 QM9、QM9-NMR 与 QM9S 的对齐记录;对 100 族子采样 1000 次时,依赖边际与反事实翻转率的总体排序在 97.7% 至 99.3% 的抽样中保持。
七个模型都从某些性质中获益,但获益大小与对性质变化的响应程度按通道呈现不同排序。 红外在六个模型上给出最大或并列最大的依赖边际,而核磁共振若干表示下的增益接近零甚至为负。 Luna、Sol、Astra 的红外依赖边际分别为 39.7、49.3、52.2 个百分点,Opus 为 47.1 个百分点;红外替换下 Luna 的反事实翻转率为 80.3%,Sol、Opus、Astra 为 89.8% 至 91.2%。
启示与展望
该基准面向小分子补全,性质为计算得到的偶极、HOMO–LUMO 间隙、紫外可见、红外、拉曼以及 1H 与 13C 核磁屏蔽,候选为经过筛选的有限集合,评测在无工具、无检索、无任务特定训练与无已解示例的封闭协议下进行。适合关注分子性质推理评测、谱图到结构推断以及模型证据使用诊断的研究人员与工程师阅读。
基准覆盖的是计算性质与人工筛选候选,实验谱图与开放式结构解析不在其范围内;覆盖范围受数据集构建与人工校验成本的限制。核磁观测只暴露保留骨架上的核,掩码基团自身的信号不可见,因此模型需要从对保留核屏蔽的影响反推补全。案例对比指出,当分子偶极与局部羰基极性启发式相矛盾时,四个闭源模型都更容易出错,这一对比识别的是启发式的局限,而非几何作为唯一原因。
