# 智能体基准测试

空间转录组切片对齐缺少可审计的智能体评测，Paper2Bench 把两篇已发表的对齐基准研究转成121个可执行任务，让智能体在隐藏真值的容器里作答，并用同一评分器重跑16种已发表基线。在121个任务上，最佳智能体（GPT-6-Astra 与 Gemini-4-Argon）在80%的任务上追平或超过全部基线；把智能体解法蒸馏成独立程序后，在留出任务上超过87%的基线。

空间转录组切片对齐缺少可审计的智能体评测，Paper2Bench 把两篇已发表的对齐基准研究转成121个可执行任务，让智能体在隐藏真值的容器里作答，并用同一评分器重跑16种已发表基线。在121个任务上，最佳智能体（GPT-6-Astra 与 Gemini-4-Argon）在80%的任务上追平或超过全部基线；把智能体解法蒸馏成独立程序后，在留出任务上超过87%的基线。

Mercor与Google的AI与基础设施研究团队发布Physical-Engineering's Last Exam（PLE），用85个长周期任务考察AI智能体能否完成机械、电气、土木与结构工程的实际工作。每个任务在约61个文件的容器化项目文件夹中运行，包含PDF、表格、邮件、2D CAD图纸、3D BIM模型和故意植入的过期修订，智能体无网络访问、最多六小时。最强配置Claude Opus 5.5在Claude Code中于隐藏测试集达到48.3%，平均每任务消耗2700万token、耗时63分钟；其设计平均满足91%的单条约束，但只有41%通过全部硬性检查。

Mercor与Google的AI与基础设施研究团队发布Physical-Engineering's Last Exam（PLE），用85个长周期任务考察AI智能体能否完成机械、电气、土木与结构工程的实际工作。每个任务在约61个文件的容器化项目文件夹中运行，包含PDF、表格、邮件、2D CAD图纸、3D BIM模型和故意植入的过期修订，智能体无网络访问、最多六小时。最强配置Claude Opus 5.5在Claude Code中于隐藏测试集达到48.3%，平均每任务消耗2700万token、耗时63分钟；其设计平均满足91%的单条约束，但只有41%通过全部硬性检查。

智能体大模型能处理复杂任务，但长程策略推理缺少可拆解的评测。SpireBench让20个大模型在最高难度下完整游玩商业卡牌构筑游戏《杀戮尖塔》，前沿模型超过启发式基线并追平普通玩家，却仍远落后专家；差距随流程拉长而扩大，最强模型首幕胜率与专家相当，之后掉队。模型跨局写下的记忆没有带来提升，且常出错、过于保守。

智能体大模型能处理复杂任务，但长程策略推理缺少可拆解的评测。SpireBench让20个大模型在最高难度下完整游玩商业卡牌构筑游戏《杀戮尖塔》，前沿模型超过启发式基线并追平普通玩家，却仍远落后专家；差距随流程拉长而扩大，最强模型首幕胜率与专家相当，之后掉队。模型跨局写下的记忆没有带来提升，且常出错、过于保守。

该工作发现，配备轻量推理框架的预训练大模型虽单次准确率（pass@1）远低于后训练版本，但在充足测试时预算下常以更高解覆盖率（pass@K）胜出；作者据此提出锐化税指标量化后训练导致的测试时可扩展性损失，并在四个家族14对模型、三个智能体基准共42个案例中显示该税普遍存在、可由少量采样估计，且提出按提示难度自适应温度的PTGS采样器以降低该税。

该工作发现，配备轻量推理框架的预训练大模型虽单次准确率（pass@1）远低于后训练版本，但在充足测试时预算下常以更高解覆盖率（pass@K）胜出；作者据此提出锐化税指标量化后训练导致的测试时可扩展性损失，并在四个家族14对模型、三个智能体基准共42个案例中显示该税普遍存在、可由少量采样估计，且提出按提示难度自适应温度的PTGS采样器以降低该税。

该工作将AI智能体性能形式化为“意图—执行”缺口（模型意图与框架执行之间的不匹配），提出可定制的Simple Strands Agent（SSA）框架以对齐不同模型家族，在SWE-Pro、SWE-Verified、Terminal-Bench-2和Deep-SWE上复现或提升各模型提供方报告的pass@1，并基于SSA生成的15.4万条轨迹，用代码状态空间表示计算解距离与回溯，结合编辑频率、测试活动和阶段转换等细粒度指标，揭示前沿模型在pass@1相近情况下解题行为与努力分配的差异。

该工作将AI智能体性能形式化为“意图—执行”缺口（模型意图与框架执行之间的不匹配），提出可定制的Simple Strands Agent（SSA）框架以对齐不同模型家族，在SWE-Pro、SWE-Verified、Terminal-Bench-2和Deep-SWE上复现或提升各模型提供方报告的pass@1，并基于SSA生成的15.4万条轨迹，用代码状态空间表示计算解距离与回溯，结合编辑频率、测试活动和阶段转换等细粒度指标，揭示前沿模型在pass@1相近情况下解题行为与努力分配的差异。