# ScholarCatalyst基准

研究者构建了ScholarCatalyst基准：让184位作者为207篇近期计算机科学论文标注894个早期研究问题及其“催化论文”（曾启发或可能启发该项目的先前工作），在仅含项目开始前文献的191K篇语料上评测检索系统，结果最强系统Recall@20仅0.48，智能体搜索（0.42）不优于嵌入检索，即使训练数据可能已见过这些论文的Claude Fable 5.1也只达到0.51。

研究者构建了ScholarCatalyst基准：让184位作者为207篇近期计算机科学论文标注894个早期研究问题及其“催化论文”（曾启发或可能启发该项目的先前工作），在仅含项目开始前文献的191K篇语料上评测检索系统，结果最强系统Recall@20仅0.48，智能体搜索（0.42）不优于嵌入检索，即使训练数据可能已见过这些论文的Claude Fable 5.1也只达到0.51。