AI评审也难判新意：同一对研究想法，提示词一改，GPT-5.4准确率从93.5%跌到40.9%
核心概要
Ai2发布“Old Ideas, Novel Problems”研究、基准与数据管线，考察大语言模型能否判断研究想法的新颖性。六个模型在只改提示词、检索、推理预算等单一设置时判断大幅波动：GPT-5.4在人类与生成想法配对上准确率从93.5%降到40.9%，低于随机；专用新颖性评估系统也不比简单提示的Claude Opus 4.6基线更准、更便宜。
深度剖析
判断研究想法是否新颖，正被交给另一个大语言模型来做，这类模型被称为新颖性评判者；Ai2的测试显示，同一批想法在不同评估设置下会得到差别很大的结论。 此前这类评判者往往只在人类撰写的论文上验证，而它们实际要评判的越来越多是AI生成的想法。 在六个评判模型（GPT-5.1、GPT-5.2、GPT-5.4、Claude Sonnet 4.5、Claude Opus 4.5、Claude Opus 4.6）上，只改提示词等单一因素，判断就出现大幅变化。
变化最大的是提示方式：同一对想法，换一种问法，模型就可能从几乎全对变成低于随机。 GPT-5.4面对同一批“人类+生成”配对时，提示词告知每对恰有一个想法被评审认为新颖并要求指出是哪一个，准确率为93.5%；改成直接问哪个想法新颖后，准确率降到40.9%，且对超过一半的配对改变了结论。 在只含人类撰写想法、新颖性证据强弱分明的Human-Only数据集上，同样的提示改动只带来约七个百分点变化，但Claude Opus 4.6在该数据集上仍移动了21个百分点。
更多检索与推理并不必然带来更好的新颖性判断，专门构建的评估器也没有更准。 在Human+Generated上，简单提示的Claude Opus 4.6配合低推理预算与三次调用多数投票达到0.854 macro-F1，总评估成本2.59美元；Idea Novelty Checker为0.642、30.66美元，Sakana AI的AI Scientist为0.772、82.05美元。 带超高推理预算和arXiv实时迭代检索的GPT-5.6 Sol智能体评判者取得0.78 macro-F1，落后Claude Opus 4.6的0.89，单次决策成本约为其10倍。
启示与展望
这套基准面向需要评估AI生成研究想法新颖性的研究者与系统开发者，测试对象是六个通用大语言模型评判者、两个专用新颖性评估系统和一个带检索的智能体评判者，数据来自ICLR 2026评审挖掘出的人类想法池与一个简单生成器产出的想法。
人类与生成想法配对中“生成想法较不新颖”是弱标签而非逐条核实；作者称许多核心结论不依赖标签，因为两套合理设置对同一对想法给出相反答案本身就说明不稳定。作者也指出基于大语言模型的新颖性评估仍是未解决问题。