# 智能体评估

CyberArena把网络安全评测从静态靶标改成多轮攻防对抗：两个智能体在隔离沙箱里同时攻击对方服务并修补自己的服务，目标每轮轮换。在40个挑战、466局比赛中，12个前沿模型里GPT-5.6 Sol与Claude Opus 5领先，而三个模型单独都能解出的30个挑战进入对抗后，第三轮捕获率分别降到52%、37%和35%。

CyberArena把网络安全评测从静态靶标改成多轮攻防对抗：两个智能体在隔离沙箱里同时攻击对方服务并修补自己的服务，目标每轮轮换。在40个挑战、466局比赛中，12个前沿模型里GPT-5.6 Sol与Claude Opus 5领先，而三个模型单独都能解出的30个挑战进入对抗后，第三轮捕获率分别降到52%、37%和35%。

FinCosmos把金融智能体评测中的用户意图、数据来源和时间边界同时打开：模拟投资者只按提问透露隐藏策略，智能体须自行从网络取数并在数据截止日前完成回测，评分由程序核验交付物而非比对参考答案。四个编码智能体与一个无工具模型共150次会话无一被接受，其中模拟用户表示满意的35次全部至少触发一项程序否决。

FinCosmos把金融智能体评测中的用户意图、数据来源和时间边界同时打开：模拟投资者只按提问透露隐藏策略，智能体须自行从网络取数并在数据截止日前完成回测，评分由程序核验交付物而非比对参考答案。四个编码智能体与一个无工具模型共150次会话无一被接受，其中模拟用户表示满意的35次全部至少触发一项程序否决。

智能体评测长期依赖固定基准，只能说明任务成败，无法回答部署时在轨迹中途复核或引导是否值得。研究者把微随机试验引入智能体轨迹，在每个可干预决策点以等概率随机分配复核或直接执行，再用增广逆概率加权与结构嵌套均值模型估计干预的因果效应。在τ-bench Retail、ToolSandbox 与 ImpossibleBench 上，复核效果随工具调用类型和智能体状态明显不同，同一数据还能给出按决策分组的风险排序。

智能体评测长期依赖固定基准，只能说明任务成败，无法回答部署时在轨迹中途复核或引导是否值得。研究者把微随机试验引入智能体轨迹，在每个可干预决策点以等概率随机分配复核或直接执行，再用增广逆概率加权与结构嵌套均值模型估计干预的因果效应。在τ-bench Retail、ToolSandbox 与 ImpossibleBench 上，复核效果随工具调用类型和智能体状态明显不同，同一数据还能给出按决策分组的风险排序。

AstroAgentBench把航天任务规划变成可执行、可外部核验的智能体评测：七个任务族共116个用例，主评测取每族5个、共35个留出用例，智能体须提交排程、观测或星座设计文件，由独立校验器检查格式、时序、几何、资源与任务价值。五个智能体系统中，Codex CLI + GPT-5.4与Kimi CLI + Kimi K2.6在全部35个用例上通过有效性检查，最强系统在若干任务族接近或超过求解器参考分数，但在区域覆盖与立体成像等几何、产品级和设计密集型任务上仍明显落后。

AstroAgentBench把航天任务规划变成可执行、可外部核验的智能体评测：七个任务族共116个用例，主评测取每族5个、共35个留出用例，智能体须提交排程、观测或星座设计文件，由独立校验器检查格式、时序、几何、资源与任务价值。五个智能体系统中，Codex CLI + GPT-5.4与Kimi CLI + Kimi K2.6在全部35个用例上通过有效性检查，最强系统在若干任务族接近或超过求解器参考分数，但在区域覆盖与立体成像等几何、产品级和设计密集型任务上仍明显落后。

AI研究智能体每试一个候选程序都要训练和评估模型，执行成本限制了每步能比较的候选数量。MLE-World 由 Qwen3.5-4B 微调而来，只读代码与数据说明就预测程序的终端输出、异常类型和验证分数，并给出置信度。在17项 MLE-bench Lite 任务的留出程序上，其预测终端输出与真实运行一致的比例为77.9%，提示模型基线为41.1%；以它指导的测试时扩展策略最高比无世界模型的智能体高出22.1%的观测平均表现，同时减少真实执行。

AI研究智能体每试一个候选程序都要训练和评估模型，执行成本限制了每步能比较的候选数量。MLE-World 由 Qwen3.5-4B 微调而来，只读代码与数据说明就预测程序的终端输出、异常类型和验证分数，并给出置信度。在17项 MLE-bench Lite 任务的留出程序上，其预测终端输出与真实运行一致的比例为77.9%，提示模型基线为41.1%；以它指导的测试时扩展策略最高比无世界模型的智能体高出22.1%的观测平均表现，同时减少真实执行。

前沿AI智能体的“时间视野”通常按平均成功率计算，即智能体以50%概率完成、人类专家需耗时多久的任务。该分析改用METR公开的逐次运行记录，把同一任务重复四次全部成功的概率也拟合成随任务时长变化的曲线，得到“可靠性视野”。在50个模型与基准版本的组合中，可靠性视野都短于能力视野，几何平均比值约2.4；这一差距在2023年至2026年初的模型代际间没有显著收窄。

前沿AI智能体的“时间视野”通常按平均成功率计算，即智能体以50%概率完成、人类专家需耗时多久的任务。该分析改用METR公开的逐次运行记录，把同一任务重复四次全部成功的概率也拟合成随任务时长变化的曲线，得到“可靠性视野”。在50个模型与基准版本的组合中，可靠性视野都短于能力视野，几何平均比值约2.4；这一差距在2023年至2026年初的模型代际间没有显著收窄。

ACED-Bench把自然语言科学场景与隐藏概率图模型分开，让智能体在四轮预算内自己选观测或干预实验并给出因果答案，180道硬题上各模型与智能体设计差距明显，而150道资格题上强智能体接近满分。

ACED-Bench把自然语言科学场景与隐藏概率图模型分开，让智能体在四轮预算内自己选观测或干预实验并给出因果答案，180道硬题上各模型与智能体设计差距明显，而150道资格题上强智能体接近满分。