AI智能体首次被放到真实工程图纸前：最强配置在隐藏测试集上只拿到48.3%
核心概要
Mercor与Google的AI与基础设施研究团队发布Physical-Engineering's Last Exam（PLE），用85个长周期任务考察AI智能体能否完成机械、电气、土木与结构工程的实际工作。每个任务在约61个文件的容器化项目文件夹中运行，包含PDF、表格、邮件、2D CAD图纸、3D BIM模型和故意植入的过期修订，智能体无网络访问、最多六小时。最强配置Claude Opus 5.5在Claude Code中于隐藏测试集达到48.3%，平均每任务消耗2700万token、耗时63分钟；其设计平均满足91%的单条约束，但只有41%通过全部硬性检查。
深度剖析
AI智能体的评测对象从办公室文书工作扩展到建造物理世界所需的工程工作，机械、电气、土木和结构四个专业各有自己的规范、惯例与失效模式。 此前的智能体基准主要衡量构建财务模型、审阅合同、起草演示文稿或处理收件箱这类办公室任务，APEX系列即覆盖此类职业任务；物理工程几乎未被测量。 PLE共设85个长周期任务，其中机械30个、电气27个、土木18个、结构10个，由Mercor专家网络中的持证工程师逐项编写并端到端验证。
任务环境刻意复现工程师接手项目时的混乱状态，难点很大一部分在于先弄清真正的问题是什么。 工程师加入项目时不会拿到干净的问题陈述，往往继承早先的修订、半完成的计算、需求不断变化的客户邮件以及与规格不符的图纸。 每个任务运行在一个约含61个文件的容器化项目文件夹中，智能体没有互联网访问，最多有六小时查找适用规范与物理限值、完成计算并交付持证审阅者可接受的成果。
评分把成本效率放在安全与可行性硬性检查之后，只有设计通过全部硬性检查才计入成本效率得分。 软件里九成的解可以当作测试版发布，而物理工程里九成的解会在审阅中被退回。 在14个前沿模型与7种智能体框架的组合上，Claude Opus 5.5以48.3%领先，GPT 6 Astra为45.8%，Gemini 4 Argon为40.6%；模型选择的影响远大于框架选择，不同模型之间分差可达50个百分点，而同一模型换框架的中位变化约3个点。
启示与展望
评测覆盖机械、电气、土木、结构四个工程专业共85个长周期任务，智能体在无网络、最多六小时的容器化项目文件夹中作业；Google已公开29个任务、评分工具与评测容器，公开竞赛在隐藏测试集上进行。
结果被表述为前沿模型尚不能完全托付物理工程工作，最强配置在隐藏测试集上为48.3%，其设计平均满足91%的单条约束但仅41%通过全部硬性检查；公开竞赛与奖项细节尚未公布。