跳到主要内容
返回时间线
arXiv来源发表:

BioXArena-Pro 把生物医学建模考成 64 道研究级题:最强智能体只拿 55.1 分,没有一题饱和

核心概要

BioXArena-Pro 把生物医学建模评测换成 64 道来自已发表研究的研究级任务,多数任务整组留出物种、队列或细胞系等生物单元,并经过多轮审计以堵住标签泄漏。22 种智能体配置中最高分为 55.1(满分 100),没有任何任务被做到饱和;在与原研究接近的 9 道题上,最强智能体与复现的已发表方法打平(54.9 对 54.7),而在重建划分的 48 道题上方法落后 8.2 分。

Source-provided article image: BioXArena-Pro: a research-grade benchmark for autonomous biomedical machine learning agents
arXiv

深度剖析

生物医学建模智能体的评测换成了 64 道研究级任务,覆盖化学生物学、成像、网络生物学、扰动生物学、表型—疾病建模、序列与基因组学、单细胞与空间组学、结构生物学八个领域,每个领域八道。 此前的 BioXArena 已接近饱和:在其 76 道任务中,两种最强配置平均已达 66 分,且有 12 道题上四种配置中的最好成绩距满分不到 10 分。 在两项基准上都跑过的四种智能体配置,在同一 0–100 量表上于 BioXArena-Pro 的平均分比 BioXArena 低 11 分(51.6 对 62.8);最好成绩不低于 90 的近饱和任务从 76 道中的 12 道降到 64 道中的 0 道。

每道任务是一个自包含胶囊:智能体拿到公开的训练数据、无标签测试输入、原生格式素材和任务说明,在单块 GPU 与两小时预算内交回测试集预测。 与 BioXArena 相比,任务中位训练单元从 9,042 增至 19,663,公开数据总量从 71.6 GiB 增至 179.6 GiB,只有 16% 的任务能用单张训练—测试表训练(BioXArena 为 50%)。 83% 的任务采用整组留出的划分而非随机行划分(BioXArena 为 66%),留出组多为物种、队列、供体、患者、细胞系和蛋白家族等生物或临床单元;测试标签不公开,评分统一映射到 0–100 量表。

22 种配置分成两组设计:三种厂商编码命令行工具各配两个自家模型,以及四种与模型无关的脚手架各配四个模型。 最强配置 Codex CLI 配 GPT-6 Astra 得 55.1(95% 置信区间 50.0–59.8),其后是 Claude Code 配 Opus 5.5 与 OpenCode 配 GPT-6 Astra 或 Opus 5.5(均为 53.2),最弱的单提示脚手架配 DeepSeek V4.1 Flash 为 33.6。 在 16 格的四乘四设计中,骨干模型解释平均分方差的 53%,脚手架解释 37%;完整编码脚手架在弱骨干上增益更大,从 GPT-6 Astra 和 Opus 5.5 的 6.7 分升到 DeepSeek V4.1 Flash 的 14.2 分。

每道任务都复现了一个已发表方法作为参照,其中 33 道用的是为该数据集发表的方法,另 31 道用同类问题的最强已发表方法。 参照方法平均 48.6 分,低于 Codex CLI 配 GPT-6 Astra 的 55.1 分和 Claude Code 配 Opus 5.5 的 53.2 分,智能体在 64 道题中的 53 道上更高。 在测试集与原研究接近、已发表配方无需改动的 9 道题上,方法得 54.7、最强智能体得 54.9,差距不显著;在重建划分、移除输入或更换指标的 48 道题上,参照落后 8.2 分(置信区间 6.2 到 10.1)。

启示与展望

已展示的范围是 64 道生物医学建模任务上的 22 种智能体配置,每题单块 A100、两小时预算,分数统一映射到 0–100 量表;0–100 是索引而非已解比例,跨任务与跨领域的均值应作比较性解读。

智能体有网络访问时无法完全阻止其查找公开源数据,审计日志未发现下载源数据集或用测试输入查询数据库,但有 40 次运行使用了训练数据可能与测试样本重叠的公开检查点,且该重叠未测量;去标识化会移除领域方法和基础模型本可合法利用的先验知识;多数配置每题只跑一次,顶尖配置之间的差异小于其自助法区间;未直接测量人类专家,参照方法应视为专家表现的下界。