跳到主要内容
返回时间线
arXiv来源发表:

Paper2Bench 把已发表论文变成可审计考题:最佳智能体在80%任务上追平或超过全部基线

核心概要

空间转录组切片对齐缺少可审计的智能体评测,Paper2Bench 把两篇已发表的对齐基准研究转成121个可执行任务,让智能体在隐藏真值的容器里作答,并用同一评分器重跑16种已发表基线。在121个任务上,最佳智能体(GPT-6-Astra 与 Gemini-4-Argon)在80%的任务上追平或超过全部基线;把智能体解法蒸馏成独立程序后,在留出任务上超过87%的基线。

Source-provided article image: Publications as benchmarks: auditing AI agents on spatial transcriptomics alignment
arXiv

深度剖析

已发表的对齐基准研究被改写成智能体可直接执行的任务,智能体只看到脱敏后的表达矩阵、空间坐标和输出格式要求,真值坐标、细胞类型标注和评分脚本都不在工作区。 此前的科学智能体基准多集中在代码生成与缺陷修复,靠自动测试判分,而科学任务往往定义模糊、成功标准多维、真值昂贵;已有的论文类基准通常拿论文里报告的静态参考值打分,不在统一评分器下重跑已发表基线。 任务来自 SABench 与 GEASO 两项对齐研究,覆盖19个数据集、五个任务族,共121个任务,其中32个有真值坐标、69个有细胞类型或解剖区域标注,其余用基因表达相似度评估。

在统一评分器下重跑基线时,重建原始输入暴露出已发表评估中的坐标单位不一致,果蝇胚胎堆栈的输入坐标与真值坐标相差20倍。 该单位错配使未做任何变换的参考切片也带有固定误差下限,而把坐标向原点收缩的方法反而显得更准。 按输入像素单位重新缩放真值后,这一假象被消除,各方法才清晰分开,其中 PASTE 相对未对齐输入降低约75%误差。

智能体主要靠自己写紧凑的数值优化代码解题,而不是调用领域软件包;给它们预装对齐包和文献推荐后,工具使用方式改变、成本上升,准确率却没有一致提升。 在基础提示条件下,94%的智能体运行从第一性原理出发自写代码;在富上下文条件下,89%的运行执行了已发表软件包,54%在最终提交中保留了软件包。 富上下文使总体 token 用量与成本平均上升约1.5倍,而任务内百分位的变化在不同模型间方向不一,claude-opus-5.5 与 gemini-4-argon 的平均变化分别落在区间两端。

把智能体运行轨迹蒸馏成一个不调用大模型的确定性 Python 程序后,该程序在留出任务上仍能超过多数已发表基线。 蒸馏前的智能体解法依赖商业模型逐次调用,难以复现和复用;蒸馏后的程序无需推理成本即可重复运行。 随机划分下,蒸馏程序平均超过16种参考基线中的87%,与交互式前沿智能体相当,并高于已发表软件包的中位数54%;按任务族划分时总体为78%,但在未见的模拟组织上降到30%。

启示与展望

评测范围限于空间转录组切片对齐,任务来自 SABench 与 GEASO 两项研究、全脑 MERFISH 图谱以及 Albis 模拟组织;作者公开了 Paper2Bench 流程、全部任务、容器化评测框架和轨迹浏览器,并指出把该流程扩展到更开放的生物分析需要领域特定的数据契约与验证检查。

前沿模型与命令行工具迭代很快,排名反映的是当时厂商默认配置,可能随新模型发布和旧模型下线而变化;基线软件包的超参数调优或提示工程若更充分,个别分数还可能提高,而评测有意对应科学家有限调参预算的实际情形。