跳到主要内容
返回时间线
researchsquare.com来源发表:

通用智能体在244项生物信息任务上全数完成:准确率0.869,高于专用智能体的0.758

核心概要

在PromptBio-Bench的244项自由输出生物信息任务上,Claude Opus 5.5在Claude Code中全部完成,按原评测框架准确率为0.869,高于Biomni与ToolsGenie的0.758和STELLA的0.717。安装667个生物信息学Agent Skills后,智能体在444个子智能体会话中一次也没有调用技能;修正评测器缺陷后,带技能配置在GPT判分下为0.918、在Claude判分下为0.926,无技能配置为0.873和0.902。剩余18项失败中,7项源于参考答案缺陷,4项依赖题目未给出的设置。

Source-provided article image: The Generalist Strikes Back:\ General LLM Agent Outperforms Specialist Bioinformatics Agents on Free-Form, End-to-End Benchmark Analysis
Figure 1 · researchsquare.com · 第 6 页

深度剖析

一个通用前沿模型配上现成的编程外壳,就能在需要产出自由格式文件的生物信息分析任务上完成全部题目,并比三个专用智能体更准确。 PromptBio-Bench原论文评测的Biomni、STELLA和ToolsGenie均以Claude Sonnet 4.6为后端,准确率为0.72至0.76并随难度下降,且原论文指出Claude Code、Codex这类原生编程外壳未被评测。 在原评测框架下,Claude Opus 5.5加技能完成率1.00、准确率0.869,Biomni与ToolsGenie为0.758、STELLA为0.717;配对McNemar检验中,对Biomni为39胜12负(p=2.0×10⁻⁴),对ToolsGenie为38胜11负(p=1.4×10⁻⁴),对STELLA为50胜13负(p=3.0×10⁻⁶)。

优势集中在中等和高难度任务,以及生物信息学赛道,而数据科学赛道上专用智能体本已接近饱和。 三个专用智能体在中等难度上停留在0.72至0.73,在高难度上为0.56至0.69。 Claude加技能在中等难度达到0.878、高难度0.756;赛道A准确率0.817,专用智能体为0.618至0.641,赛道B上Biomni已达0.920,Claude为0.929;逐任务取三个专用智能体的最优成绩,这一现实中无法实现的上界为0.889,仅比Claude高两点。

技能目录几乎没有带来收益,因为智能体从未真正加载任何技能。 技能配置与无技能配置的差别原本可能被归因于667个生物信息学技能的内容。 技能目录出现在444个子智能体会话中441个的上下文里,但没有一次技能调用或技能文件读取;修正评测器后,带技能配置在GPT判分下为0.918、Claude判分下为0.926,无技能配置为0.873和0.902,GPT判分下提升4.5个百分点(95%置信区间+2.0至+7.4),Claude判分下提升2.5个百分点(+0.4至+4.9);技能运行消耗101.0M token,无技能为74.6M。

原评测框架的评分缺陷和参考答案缺陷,比智能体自身的分析错误更能解释失败。 在原框架下,Claude加技能有32项任务得分低于0.5,其中只有8项是智能体自身的错误或欠佳选择。 这32项中16项为评分器缺陷、3项为参考答案缺陷、5项依赖题目未说明的设置;修正11处评测器缺陷后,带技能配置在Claude判分下仍有18项失败,其中7项为参考答案缺陷、4项为未说明设置、7项为智能体选择。

启示与展望

结论建立在PromptBio-Bench的244项任务上,每题一次尝试、时限3600秒,智能体在共享conda环境中可自行安装工具并联网查资料;专用智能体的成绩取自原发布结果,只有原框架下的比较是同口径的。

专用智能体未用修正后的评测器重评,其输出也不可得;通用系统与专用系统使用了不同代际的后端模型;每种配置只运行一次,运行间方差未量化;两次运行的逐任务提示由各自的编排会话撰写,技能比较在提示层面未受控;GPT判分混合了GPT-5.6-sol与GPT-6.1-sol,且最后几处修正未应用于GPT判分运行;评测器修正与两条评分规则是在查看某一智能体输出后设计的,未经预注册;无法排除公开基准材料出现在模型训练数据中。