智能体做科研卡在“判断”上：五个前沿模型里四个宁可选中被资深研究员改掉的方案
核心概要
一项新基准把资深研究员对科研智能体的纠正整理成248道二选一判断题：在只看纠正前项目记录的条件下，五个前沿模型中有四个更常选中被人类改掉的原始方案，最高正确率63.5%，而首次接触这些项目的新手研究员为73.4%。基准取自26个横跨六个学科、历时约半年的真实科研项目，每题都要求模型在原始计划与人类修正方案之间做出选择。
深度剖析
科研智能体可以连续数周乃至数月推进实验，但资深研究员仍需反复介入，判断下一步该扩大规模还是先检查测量、一次失败是否动摇想法。 此前的自动化检查与评审仍依赖模型自己发现错误假设，规则越堆越多反而更难被可靠执行，因此这些判断一直由人承担。 这些介入来自约半年内26个横跨六个学科的真实项目，项目以发表为目标，涵盖理论、模拟、计算和既有数据分析。
基准把每次人类纠正还原成纠正发生前的一个决策点，让模型在原始计划与人类修正方案之间二选一。 评估者只能看到该提交点之前的项目记录，包括代码、实验日志和进度笔记，看不到后来的结果。 248个案例由Grok 4.6依据完整项目历史撰写，并用每个案例120条模型回答筛选出模型意见分歧的案例；撰写者在自己写的案例上没有优势。
在中等推理强度并给出项目记录时，四个模型选中被改掉方案的比例高于选中修正方案，且带记录反而不如只看两个方案。 五个模型带记录的平均正确率为39.2%，不带记录为55.8%，其中四个模型的配对区间排除零。 最高观测正确率是Astra在xhigh下的63.5%，低于新手研究员的73.4%；49个案例上五个模型两种选项顺序都选了被改掉的方案。
启示与展望
评估覆盖使用CPU和GPU的理论与计算研究，包括模拟和对生物图像等既有数据的分析；湿实验执行以及COMSOL一类专用商业软件的工作流不在其中。案例检验的是博士级研究中的核心判断，包括实验选择、异常诊断和结论修订。基准衡量的是对纠正性决策的识别，生成计划和实际开展研究需要另行评估。
所选案例集中在模型意见分歧的决策上，因此分数是诊断性的，不估计这类失败在全部科研活动中出现的频率。多个案例来自同一项目，故同时报告项目簇区间。各评估客户端提供的阅读工具不同，请求的推理强度也不等同于相同token预算。第二次复审修复264个错误同时引入305个，平均正确率从44.0%回落到42.3%。