AI评审也难判新意：同一对研究想法，提示词一改，GPT-5.4准确率从93.5%跌到40.9%
Ai2发布“Old Ideas, Novel Problems”研究、基准与数据管线，考察大语言模型能否判断研究想法的新颖性。六个模型在只改提示词、检索、推理预算等单一设置时判断大幅波动：GPT-5.4在人类与生成想法配对上准确率从93.5%降到40.9%，低于随机；专用新颖性评估系统也不比简单提示的Claude Opus 4.6基线更准、更便宜。
判断研究想法是否新颖的LLM评委：提示词换几个词，准确率从93.5%跌到40.9%
Ai2发布“Old Ideas, Novel Problems”研究、基准、数据与代码，检验大语言模型能否可靠判断研究想法的新颖性。研究以ICLR 2026审稿意见挖出154个高新颖度与145个低新颖度人类想法，并把154个人类想法与154个简单生成器产出的想法配对。六个评委模型上，只改提示词措辞就让GPT-5.4在人类加生成配对上的准确率从93.5%降到40.9%，检索与额外推理也未稳定改善判断。
已读完全部报道