跳到主要内容
返回时间线
arXiv来源发表:

分子补全不再只看答案对不对:把性质打乱或换掉,才知道模型是否真在用谱学证据

导语

MolP2SBench 把分子补全改成带掩码骨架的多选题,并用打乱性质与替换反事实性质两种干预检验模型是否真在用谱学证据;七个模型在 11 个性质通道上的表现差异很大,且准确率高的通道不一定对性质替换更敏感。

Source-provided article image: MolP2SBench: Do LLMs Really Reason from Molecular Properties to Structure?
Figure 1 · arXiv

正文

分子性质到结构的推理现在有了可对照的评测方式:模型看到带掩码的分子骨架和一组物理性质,从两到四个候选结构中选出缺失片段。 此前的评测以端到端分子重建为主,正确预测不一定说明结果建立在所给性质之上,因为模型可能靠结构先验答对。 基准包含 136 个任务族、394 个不同候选结构,11 种性质表示共提供 1,496 个源性质实例、配对的打乱性质对照和 2,766 个族内可用的反事实替换。

评测把“依赖”和“响应”拆成两个诊断量:依赖看正确配对的性质是否比打乱性质更能提高选择准确率,响应用看性质被替换后模型是否改选对应的反事实候选。 主指标 Property-Grounded Recovery 对源性质恢复和候选定向反事实恢复各给一半权重,并在族内先平均反事实正确率,使候选数多的族不占更大权重。 七个模型在无工具、无检索、无任务特定训练、无已解少样本示例的封闭协议下评测,只有通过输入校验的记录进入计分。

性质通道之间的排序在依赖和响应两个指标上并不一致。 Luna、Sol、Astra 对逐原子 1H 的依赖边际都高于 13C 峰,但反事实翻转率更低;Sol 的依赖边际为 25.2 对 12.6 个百分点,翻转率为 53.6% 对 67.3%。 IR 在六个模型上给出最大或并列最大的依赖增益,Luna、Sol、Astra 分别为 39.7、49.3、52.2 个百分点,Opus 为 47.1 个百分点;IR 替换下 Luna 的翻转率为 80.3%,Sol、Opus、Astra 为 89.8% 到 91.2%。

接下来

这套评测面向小分子补全,性质为计算值,候选为人工筛选并经过通道分离阈值过滤;模型只拿到掩码骨架、允许的连接位点、候选 SMILES 和所选性质信息,不拿到候选的完整性质表。评测在无工具、无检索、无任务特定训练、无已解少样本示例的封闭协议下进行,七个模型覆盖闭源与开源两组。作者提出后续可通过大模型辅助的数据集构建扩展分子族与性质通道,同时保留专家复核与验证。

基准覆盖小分子补全、计算性质与人工筛选候选,实验谱图和开放式结构解析不在其范围内;当前覆盖受数据集构建与人工验证所需工作量的限制。NMR 观测只暴露保留在可见骨架上的原子核,掩码基团自身的信号不可见,因此模型必须从对剩余原子核屏蔽的影响推断补全。案例研究显示,当分子偶极与局部极性启发式冲突时,四个闭源模型错误更多;作者指出这些替换同时改变了电子结构与构象,因此该对比说明的是启发式的局限,而不是几何作为唯一原因。

来源