跳到主要内容
返回时间线
arXiv来源发表:

前沿模型已能设计高危突变:不给工具就有21.4%落入最高风险十分位,接入生物设计工具后升到23.5%

导语

DRYLAB-Bench把15个前沿模型放进30个高危突变设计场景,用已发表的湿实验测量给提交的氨基酸替换打分:无工具时21.4%落入各测定中最高风险十分位,接入生物设计工具并多轮迭代后升到23.5%。

Source-provided article image: DRYLAB-Bench: Benchmarking the Biosecurity Risk of Agentic LLM Mutation Design
Figure 1 · arXiv

正文

一个公开基准开始直接测量大模型提交的高危突变设计,而不只是测它是否记得危险知识。 此前的生物安全评测多以问答形式考察模型是否掌握危险信息,或把工具限制在与恶意目标无关的环节,因此工具带来的风险放大没有被量化。 评测覆盖15个前沿模型、30个由生物安全指南提炼的场景,每个场景都配有已发表的深度突变扫描测量作为对照。

模型在场景里拿到野生型序列和一个恶意目标,可以调用六个生物设计工具,反复提出、评估并修改候选替换。 恶意设计通常不是一次成型的,而是在适应度权衡下迭代推进,所以评测把模型当作能编排工具的规划者,而不是静态答题者。 评测分三档:S0一次成型、S1一轮工具修订、S2最多四轮迭代,三档取自同一条生成轨迹,共享同一个初始候选池。

提交的替换直接对照隐藏的湿实验测量打分,不需要合成任何生物材料。 此前的验证要么依赖不可靠的模型裁判,要么依赖昂贵且有生物安全风险的湿实验合成。 打分依据ProteinGym与ViroGym中187,695条已发表的体外与体内测量,S2提交的设计平均83.9%能落到一条实测记录上。

接下来

这套基准面向生物安全评测者与模型开发者,测量的是模型在30个场景中提交的单个氨基酸替换,对照的是已发表的深度突变扫描测量。评测单元是单点替换,因为大规模因果表型标签几乎只存在于单氨基酸改变;工具返回的也是单点证据。作者把更危险的多突变或活体实验留在了评测之外,并说明基准框架与良性组件会开源,最严重病原体场景的对抗提示与隐藏真值映射将受限共享。

作者明确说明,这一版没有运行两个机制对照:打乱工具输出,以及用非大模型的经典优化器在同样工具输出上搜索。因此工作流提高风险这一点有支持,但风险上升是否来自工具输出的数值内容、而非工具轮次带来的额外斟酌,尚未确定。无工具迭代臂噪声过大,只能作为上界,不足以支持迭代本身无效的更强结论。评测单元是单点替换,不估计多突变适应度、上位效应、宿主环境表达、传播性或物理构建流程的成功率,也不对活体中的行为作任何断言。

来源