PaperBenchX把论文复现搬进12个学科：最强智能体配置只在14%任务上越过90%阈值

跨学科论文复现被做成一项可评分的智能体任务：智能体拿到论文、公开任务说明和领域原生科学环境，要重建关键实验并交付可运行的工作流。 此前的复现基准多集中在AI与机器学习，实验共享相对同质的软件栈；跨领域基准通常只覆盖工作流的一部分。 基准包含93项专家构建任务，覆盖12个研究领域和10个领域原生科学计算环境，共3,168条可评分标准。

评分不看智能体的报告，而看从头重跑后重新生成的证据。 仅凭最终输出或代码能否运行，无法区分科学上正确与看似合理的实现。 评测时清空生成产物，只恢复提交包，在私有评测资源不可访问、外网关闭的条件下运行reproduce.sh，重放产物冻结为只读证据集，再由同一GPT-5.6-sol评分器按隐藏标准逐条判定。

智能体在建模和执行上进展明显，但把部分进展合成为完整复现仍很难。 平均建模与执行得分分别为62.73%和61.83%，验证得分只有42.91%。 930次结果中只有80次超过90%阈值，且集中在22项任务上；71项任务没有任何配置完成，建模与执行均达80%以上的304次结果中仅53次越过完全复现阈值。

评测覆盖93项任务、12个研究领域和10个领域原生环境，10个配置在同一任务集上运行；公开释放每个领域一项代表性任务，其中九项附带可再分发的科学计算环境，三项因商业许可只发布任务说明与评分细节。

结果被描述为当前智能体在建模与执行上有明显进展、验证仍是最弱环节，交互轮数更多并不必然带来更好复现；这些结论限于所评测的任务集与配置。