跳到主要内容

# 基准可靠性

2 篇关联报道

researchsquare.com 2026年10月28日
通用智能体在244项生物信息任务上全数完成：准确率0.869，高于专用智能体的0.758
在PromptBio-Bench的244项自由输出生物信息任务上，Claude Opus 5.5在Claude Code中全部完成，按原评测框架准确率为0.869，高于Biomni与ToolsGenie的0.758和STELLA的0.717。安装667个生物信息学Agent Skills后，智能体在444个子智能体会话中一次也没有调用技能；修正评测器缺陷后，带技能配置在GPT判分下为0.918、在Claude判分下为0.926，无技能配置为0.873和0.902。剩余18项失败中，7项源于参考答案缺陷，4项依赖题目未给出的设置。
在PromptBio-Bench的244项自由输出生物信息任务上，Claude Opus 5.5在Claude Code中全部完成，按原评测框架准确率为0.869，高于Biomni与ToolsGenie的0.758和STELLA的0.717。安装667个生物信息学Agent Skills后，智能体在444个子智能体会话中一次也没有调用技能；修正评测器缺陷后，带技能配置在GPT判分下为0.918、在Claude判分下为0.926，无技能配置为0.873和0.902。剩余18项失败中，7项源于参考答案缺陷，4项依赖题目未给出的设置。
California State University, San Marcos
Xiaoyu Zhang（第一作者、通讯作者）
PromptBio-Bench Claude Opus 5.5 Claude Code 大语言模型智能体基准可靠性
arXiv 2026年10月3日
关键词评测把不会调用工具的1B模型判成合格：严格诊断阶梯定位出缺失先验，并用3.3 GPU小时修复
该工作在一对共享解码器、分词器与特殊token布局的西班牙语安全小模型（VectraYX-600M 661.6M参数、VectraYX-1B 1,109M参数）上发现关键词式工具使用评测的假阳性：两者在宽松指标B4上几乎相同（0.660对0.650），但逐字复现检查显示600M在6/6训练样例上生成带泛化参数的合法工具调用，1B在所有修复前检查点上为0/4–6，首token探针把失败定位为<|tool_call|>上约10^-4–10^-5的缺失先验，随后一个多样语料、5倍学习率、2,202步、约3.3 GPU小时的定向SFT把1B的合法生成率从0.100提升到0.959，并在238条未见实体提示上
该工作在一对共享解码器、分词器与特殊token布局的西班牙语安全小模型（VectraYX-600M 661.6M参数、VectraYX-1B 1,109M参数）上发现关键词式工具使用评测的假阳性：两者在宽松指标B4上几乎相同（0.660对0.650），但逐字复现检查显示600M在6/6训练样例上生成带泛化参数的合法工具调用，1B在所有修复前检查点上为0/4–6，首token探针把失败定位为<|tool_call|>上约10^-4–10^-5的缺失先验，随后一个多样语料、5倍学习率、2,202步、约3.3 GPU小时的定向SFT把1B的合法生成率从0.100提升到0.959，并在238条未见实体提示上
Juan S. Santillana（第一作者、通讯作者）
诊断阶梯工具调用 VectraYX-600M 预训练数据构成基准可靠性

已读完全部报道