Yuhang Xie

MolP2SBench 把分子性质到结构的推理改成带掩码骨架的多选题，并加入打乱与反事实替换两种干预，用来区分模型答对与模型真的用了所给性质。评测七个模型后发现，同一性质通道上的准确率高低并不对应模型对该性质变化的敏感程度，例如模型可能更受益于 1H NMR 却更少在 1H 数据被替换时改变选择；模型表现也不总与化学家对这些性质难度的直觉一致。

MolP2SBench 把分子性质到结构的推理改成带掩码骨架的多选题，并加入打乱与反事实替换两种干预，用来区分模型答对与模型真的用了所给性质。评测七个模型后发现，同一性质通道上的准确率高低并不对应模型对该性质变化的敏感程度，例如模型可能更受益于 1H NMR 却更少在 1H 数据被替换时改变选择；模型表现也不总与化学家对这些性质难度的直觉一致。