跳到主要内容
返回时间线
Benchling来源发表:

AI设计分子克隆实验:最强模型单次仅解30.6%,十次尝试升到72%

核心概要

分子克隆需要从选材、设计序列到规划多步反应的整体推理,而现有模型只在单步任务上表现可靠。BenchBench-Cloning 用65个取自真实实验的克隆任务检验端到端设计能力,分为完整方案设计与构建体设计两类。GPT-6 Astra 单次尝试解出30.6%的任务,领先 GPT-6.1 Sol 的22.2%和 Claude Opus 5.5 的20.5%;同一模型在十次尝试内可解出72%的方案设计任务,而单次为27%。

Source-provided article image: How good is AI at molecular biology?
Benchling

深度剖析

一个专门检验AI能否设计完整分子克隆实验的基准被公开,把评估对象从单步操作推到端到端的实验规划。 此前的模型已能完成分析DNA序列这类单独步骤,但设计整个实验需要贯穿始终的生物学推理。 基准包含与领域专家共同构建的65个克隆任务,全部取自真实实验,分为方案设计与构建体设计两类。

成绩按模型分层:GPT-6 Astra 以30.6%居首,其后是 GPT-6.1 Sol 的22.2%与 Claude Opus 5.5 的20.5%,Kimi K3 为8.8%。 这组分数把前沿模型与开放权重模型在同一任务上的差距摆了出来。 分数来自上述65个任务的评测,最高分仍不到全部任务的三分之一。

失败集中在把正确的单步决策串起来:构建体选对却漏掉关键实验对照,引物序列对却无法在同一反应中配合,反应规划对却分离不出目标产物。 单步正确并不等于整条实验链路可行。 这些失败模式在评测中被反复观察到,指向长链条多步推理的薄弱环节。

重复尝试能明显抬高上限:最强模型在十次尝试内解出72%的方案设计任务,单次尝试为27%。 能力在出现,但单次可靠性尚未跟上。 对照是同一模型同一类任务在单次与十次尝试下的解题比例。

启示与展望

评测覆盖65个取自真实实验的分子克隆任务,分为方案设计与构建体设计两类,结论限于这一任务集与所测模型。发布方表示 BenchBench 系列将继续扩展到整理杂乱科学数据、撰写科学报告和评估生物安全风险。

发布方明确指出能力正在出现但可靠性尚不足,十次尝试的提升也说明单次结果不能代表稳定可用;65个任务的规模意味着排名反映的是这一任务集上的表现。