# 基于大语言模型的研究想法新颖性评判

Ai2发布“Old Ideas, Novel Problems”研究、基准、数据与代码，检验大语言模型能否可靠判断研究想法的新颖性。研究以ICLR 2026审稿意见挖出154个高新颖度与145个低新颖度人类想法，并把154个人类想法与154个简单生成器产出的想法配对。六个评委模型上，只改提示词措辞就让GPT-5.4在人类加生成配对上的准确率从93.5%降到40.9%，检索与额外推理也未稳定改善判断。

Ai2发布“Old Ideas, Novel Problems”研究、基准、数据与代码，检验大语言模型能否可靠判断研究想法的新颖性。研究以ICLR 2026审稿意见挖出154个高新颖度与145个低新颖度人类想法，并把154个人类想法与154个简单生成器产出的想法配对。六个评委模型上，只改提示词措辞就让GPT-5.4在人类加生成配对上的准确率从93.5%降到40.9%，检索与额外推理也未稳定改善判断。