智能体做物理工程能拿几分：14个前沿模型在私有测试集上全部低于50%
核心概要
Google AI & Infrastructure 团队与 Mercor 合作发布 Physical-Engineering's Last Exam（PLE），用机械、电气、土木、结构四个工程学科的85个长周期任务考察智能体能否在持证工程师复核下完成真实工程工作。每个任务是一个平均含61个文件的容器化项目文件夹，智能体需自行查找规范、计算并产出可交付成果，且必须先通过全部硬性安全检查才计分。在私有测试集上，14个前沿模型全部低于50%，最高配置在其原生框架上平均得分48.3%。
深度剖析
物理工程领域有了一个端到端考察智能体的基准和公开竞赛，任务覆盖机械、电气、土木和结构四个学科，共85个长周期任务。 前沿语言模型在许多学术基准上已超过90%，但这些基准多考教科书式问题、单次工具调用或小型自足的设计题，无法说明智能体能否在持证工程师复核下产出安全、合规且成本合理的设计。 任务由 Mercor 专家与业界持证执业工程师共同构建，其中44个由工程师撰写项目文件夹、提示和评分细则，41个由智能体流水线依据可授权的工程标准组装环境与评分器，再由工程师逐项验证并提高难度。
智能体不再回答单个提示，而是在一个容器化项目文件夹里工作，文件夹模拟执业工程师实际收到的材料。 每个任务平均包含61个文件，全基准共5170个文件，类型包括 PDF、电子表格、邮件、二维 CAD 图纸、三维 BIM 模型和文档修订版。 智能体需要在这些文件中推理、找到适用的建筑规范与物理限值、完成计算，并生成持证审核者会审阅批准的生产级交付物；该环境建立在 Mercor 的 Archipelago 之上。
评分把安全合规与成本效率放在一起，设计必须先通过每一项硬性安全检查才能得分。 在共同编写的任务上，得分最高的智能体配置满足了91%的单项约束，但只有41.3%的交付物通过了全部硬性安全与可行性检查。 测试使用七个公开可用的智能体框架（Antigravity、Claude Code、Codex、Hermes、OpenCode、OpenHands 和 Pi）运行14个前沿模型，私有测试集上最高分模型在其原生框架上平均得分48.3%。
启示与展望
已展示的范围是机械、电气、土木和结构四个学科的85个长周期任务，其中29个任务、评分脚本和评测容器公开，其余用于私有测试集；基线覆盖14个前沿模型和7个公开智能体框架。
最高分48.3%是模型在其原生框架上的平均得分，私有测试集上的具体任务构成未在材料中展开；共同编写任务上91%的单项约束满足率与41.3%的全项通过率说明单项达标不等于整体合规。材料还指出框架选择对运行成本影响显著，但未给出成本数值。