智能体能否预判湿实验：SPU用100个公开任务和16个未发表实验打分，最强配置也只在一半任务上超过随机
核心概要
Science Prediction Universe（SPU）把AI智能体放进真实湿实验的预测场景：只给实验条件与候选，让智能体在八小时内自行检索文献、跑计算，再按测量值给候选排序，用斯皮尔曼相关系数打分。100个公开任务取自近期Nature Portfolio论文，16个私有任务来自尚未发表的实验，检索无从下手。十三种前沿模型配置中最好的也只在约一半计分任务上超过随机阈值，更多推理算力和更多工具种类都没有带来可检测的分数提升。
深度剖析
SPU把“预测尚未做的湿实验”变成可自动打分的任务：每个任务给出一组实验的候选、材料与条件以及测量方式，智能体要把每个比较组按测得的量从低到高排序。 此前的基准要么只问模型一个封闭问题、不给工具，要么让智能体在已有数据上写代码，湿实验测量结果与长时段自主计算很少同时出现。 100个公开任务来自11种Nature Portfolio期刊的近期论文，另有16个来自合作实验室未发表实验的私有任务，覆盖VHH纳米抗体、反应条件、电解质和Magrolimab抗体变体，均带重复测量。
智能体在容器里独立工作最多八小时，可联网检索并运行科学软件，提交排序后由另一个无网络、智能体接触不到的容器对照测量值打分。 分数取提交顺序与实测顺序的斯皮尔曼相关系数，随机排序平均为0，完全正确为1；每个任务另设机会阈值，即4000次随机排序中只有5%能超过的分数。 十三种配置各在全部任务上跑一次官方运行，公开任务共1155次计分运行、227103次工具调用；评分全自动，没有模型充当裁判。
领先的六种配置与其余七种之间存在稳定差距，差距主要来自判断力而非算力：领先组只有9%的运行得分低于零，其余组为22%。 在共识排序正确的地方，领先六种每100对里保住约86对的实测顺序，其余七种约78对；共识错误时两组都只纠正约30对。 在十三种配置都完成的28个任务（27个公开、1个私有）上，领先六种仍占据前六名，只是内部次序改变。
私有任务排除了检索答案的可能，十二种配置仍显著优于随机；但同一电解质系列上，十三种配置对离子电导率的排序接近完美（0.89到0.95），对电化学窗口则从−0.55到0.07，无一超过机会阈值。 GPT-6 Astra在最高推理强度下运行时间是中等强度的4.8倍、成本5.3倍，分数没有可检测的提升；最高强度运行首次完整排序出现在运行中位26%处，平均0.469，最终提交0.424，差异不显著。 16个私有任务共208次官方运行，其中159次完成计分；GPU工作负载只让同配置同任务的分数高0.035，95%区间从−0.019到0.090，包含零。
启示与展望
评测范围是化学39、材料29、生物20、医学12共100个公开任务，加上16个来自未发表实验的私有任务，智能体在8小时、8核CPU、16 GiB内存和一块NVIDIA H20 GPU的容器内工作。公开任务的完整任务包已发布在Hugging Face，包含输入、环境、评分代码与参考答案，参考答案在评测时留在独立评分容器中。私有任务保持不公开，用于受控评测。
公开任务源自已发表论文，无法完全排除训练数据污染，因此SPU保留私有任务作为补充；私有任务上十二种配置仍超过随机。Claude Opus 5.5与Claude Fable 5.1因频繁安全拒答只在较少任务上计分，其均值主要基于材料科学任务。学科间差异在打乱学科标签后常能复现，因此不具统计可检测性。