AI智能体首次被放到真实工程图纸前:最强配置在隐藏测试集上只拿到48.3%
Mercor与Google的AI与基础设施研究团队发布Physical-Engineering's Last Exam(PLE),用85个长周期任务考察AI智能体能否完成机械、电气、土木与结构工程的实际工作。每个任务在约61个文件的容器化项目文件夹中运行,包含PDF、表格、邮件、2D CAD图纸、3D BIM模型和故意植入的过期修订,智能体无网络访问、最多六小时。最强配置Claude Opus 5.5在Claude Code中于隐藏测试集达到48.3%,平均每任务消耗2700万token、耗时63分钟;其设计平均满足91%的单条约束,但只有41%通过全部硬性检查。