AI评审也难判新意：同一对研究想法，提示词一改，GPT-5.4准确率从93.5%跌到40.9%
Ai2发布“Old Ideas, Novel Problems”研究、基准与数据管线，考察大语言模型能否判断研究想法的新颖性。六个模型在只改提示词、检索、推理预算等单一设置时判断大幅波动：GPT-5.4在人类与生成想法配对上准确率从93.5%降到40.9%，低于随机；专用新颖性评估系统也不比简单提示的Claude Opus 4.6基线更准、更便宜。
Ai2发布“Old Ideas, Novel Problems”研究、基准与数据管线，考察大语言模型能否判断研究想法的新颖性。六个模型在只改提示词、检索、推理预算等单一设置时判断大幅波动：GPT-5.4在人类与生成想法配对上准确率从93.5%降到40.9%，低于随机；专用新颖性评估系统也不比简单提示的Claude Opus 4.6基线更准、更便宜。
已读完全部报道