Ruoyu Wu

PaperBenchX把论文复现从机器学习扩展到12个研究领域，要求智能体在HFSS、Lumerical、Meep、PySCF等原生科学软件中重建关键实验，并从头重跑提交的工作流、只对重新生成的证据打分。10个前沿智能体配置在93项任务上的平均评分从27.53%到59.08%，最强配置也只有14%的任务达到90%的完全复现阈值，而建模与执行得分明显高于验证得分。

PaperBenchX把论文复现从机器学习扩展到12个研究领域，要求智能体在HFSS、Lumerical、Meep、PySCF等原生科学软件中重建关键实验，并从头重跑提交的工作流、只对重新生成的证据打分。10个前沿智能体配置在93项任务上的平均评分从27.53%到59.08%，最强配置也只有14%的任务达到90%的完全复现阈值，而建模与执行得分明显高于验证得分。