PaperBenchX把论文复现搬进12个学科:最强智能体配置只在14%任务上越过90%阈值
PaperBenchX把论文复现从机器学习扩展到12个研究领域,要求智能体在HFSS、Lumerical、Meep、PySCF等原生科学软件中重建关键实验,并从头重跑提交的工作流、只对重新生成的证据打分。10个前沿智能体配置在93项任务上的平均评分从27.53%到59.08%,最强配置也只有14%的任务达到90%的完全复现阈值,而建模与执行得分明显高于验证得分。
PaperBenchX把论文复现从机器学习扩展到12个研究领域,要求智能体在HFSS、Lumerical、Meep、PySCF等原生科学软件中重建关键实验,并从头重跑提交的工作流、只对重新生成的证据打分。10个前沿智能体配置在93项任务上的平均评分从27.53%到59.08%,最强配置也只有14%的任务达到90%的完全复现阈值,而建模与执行得分明显高于验证得分。
已读完全部报道