跳到主要内容
检索

# 物理工程最后考试

2 篇关联报道

订阅更新
  1. Mercor

    AI智能体首次被放到真实工程图纸前:最强配置在隐藏测试集上只拿到48.3%

    Mercor与Google的AI与基础设施研究团队发布Physical-Engineering's Last Exam(PLE),用85个长周期任务考察AI智能体能否完成机械、电气、土木与结构工程的实际工作。每个任务在约61个文件的容器化项目文件夹中运行,包含PDF、表格、邮件、2D CAD图纸、3D BIM模型和故意植入的过期修订,智能体无网络访问、最多六小时。最强配置Claude Opus 5.5在Claude Code中于隐藏测试集达到48.3%,平均每任务消耗2700万token、耗时63分钟;其设计平均满足91%的单条约束,但只有41%通过全部硬性检查。

  2. cloud.google.com

    智能体做物理工程能拿几分:14个前沿模型在私有测试集上全部低于50%

    Google AI & Infrastructure 团队与 Mercor 合作发布 Physical-Engineering's Last Exam(PLE),用机械、电气、土木、结构四个工程学科的85个长周期任务考察智能体能否在持证工程师复核下完成真实工程工作。每个任务是一个平均含61个文件的容器化项目文件夹,智能体需自行查找规范、计算并产出可交付成果,且必须先通过全部硬性安全检查才计分。在私有测试集上,14个前沿模型全部低于50%,最高配置在其原生框架上平均得分48.3%。

已读完全部报道