判断研究想法是否新颖的LLM评委：提示词换几个词，准确率从93.5%跌到40.9%
核心概要
Ai2发布“Old Ideas, Novel Problems”研究、基准、数据与代码，检验大语言模型能否可靠判断研究想法的新颖性。研究以ICLR 2026审稿意见挖出154个高新颖度与145个低新颖度人类想法，并把154个人类想法与154个简单生成器产出的想法配对。六个评委模型上，只改提示词措辞就让GPT-5.4在人类加生成配对上的准确率从93.5%降到40.9%，检索与额外推理也未稳定改善判断。
深度剖析
研究想法的新颖性判断被交给另一个大语言模型，这类模型被称为新颖性评委，它单独评估一个想法或比较两个想法相对已有工作是否新。 此前没有构建新颖性评委的标准做法，研究团队各自选择模型、提示词、评估格式、推理预算，有时还接入文献检索系统，而这些选择会实质影响结论。 这些评委往往只在人类撰写的论文上验证，而不是在它们实际要评估的AI生成想法上验证。
同一批想法在看似很小的评估设置改动下会得到差别很大的判断。 在人类加生成配对中，GPT-5.4面对同一批配对，提示词从“审稿人认为每对中恰有一个想法新颖、请指出是哪一个”换成直接问“哪个想法新颖”，准确率从93.5%降到40.9%，低于随机水平，且对超过一半的配对改变了结论。 同样的提示词改动在人类想法配对数据集上只带来约七个百分点变化，但该数据集上也有明显漂移，同一改动让Claude Opus 4.6的准确率移动21个百分点。
更多检索和更多推理并不必然带来更好的新颖性判断。 GPT-5.6 Sol在额外高推理预算并接入限定arXiv的实时迭代检索后，在人类加生成数据集上取得0.78的macro-F1，比Claude Opus 4.6的0.89低11个点，与更简单的Claude Opus 4.5和GPT-5.4设置大致相当，而按当前API价格每次判断成本约为后者的10倍。 该比较中所有评委对每个想法只运行一次，macro-F1衡量评委区分新颖与非新颖想法的能力，越高越好。
专门构建的新颖性评估系统并不更准确，成本却高得多。 在人类加生成数据集上，低推理、三次调用多数投票的简单Claude Opus 4.6提示取得0.854的macro-F1，总评估成本2.59美元；文献检索加重排的Idea Novelty Checker为0.642、30.66美元，迭代检索Semantic Scholar的Sakana AI的AI Scientist为0.772、82.05美元。 两个专用评估器都使用Claude Opus 4.6，每次判断调用一次。
启示与展望
这套评估针对ICLR 2026审稿意见挖出的154个高新颖度与145个低新颖度人类想法，以及154个人类想法与154个简单生成器想法的配对；生成想法被假定不如人类想法新颖，属于弱标签。
人类加生成设置中生成想法的新颖度是假定而非逐条核实；专家复核的30对配对偏向最强评委出错的案例；研究结论指向新颖性评估仍是未解决问题，未来工作需在评委实际要评估的想法类型上测试并跟踪提示词与模型敏感性。