AI Night-Scientist 用强化学习教模型何时偏离可预测推理，研究提案方向覆盖扩大 27.8%、贡献类型扩大 14.9%

框架把创造力显式建模在推理轨迹的三个层面：行动层为每个动作定义有序的创造力等级（自然语言描述从常规到探索性），过程层决定何时在低/高创造力动作间切换，结果层衡量最终想法的新颖性与有用性。 以往 LLM 科研智能体多把搜索、辩论、写作等动作视为固定行为，只在最终想法上评估创造力；该工作把创造力同时放进动作执行方式与推理时序中，并让用户通过自然语言语义直接控制偏离程度。 论文给出三层创造力的形式化定义（定义 3.1–3.3），并给出 search、debate、spark 三个动作各 5 级创造力等级的具体描述表，write 固定为 1 级以保留信用分配。

用 GRPO 训练后，AI Night-Scientist-8B 相对 Qwen3-8B 把预测引用影响提升 29.43 个百分点、原创性提升 53.79 点；14B 版本相对 Qwen3-14B 分别提升 32.03 和 66.15 点。 零样本模型从 8B 扩到 14B 几乎没有提升，而 AI Night-Scientist 扩到 14B 又增加 3.29 点引用与 12.36 点原创性，说明模型容量在配上习得的创造性推理策略后才更有效。 在 491 条 NSF 测试奖项上与匹配的重建参考提案做随机顺序成对比较，报告 95% 置信区间；直接对 GPT-4.1 与 Qwen3-8B 的对比中胜率为 74.95%/86.96% 与 82.48%/97.56%。

收益不能靠提高解码温度复现：同样优化提案级奖励，Night-8B 在原创性上超过温度控制变体 36.50 点、引用上超过 18.37 点；ReAct 缩小了差距，但语义创造力等级仍额外贡献 9.72 点原创性与 4.95 点引用。 把“探索更多”与“指定动作应如何偏离”区分开，表明可学习的信号是语义化的创造力引导，而非采样随机性；同时限制动作空间为 search+write 会使原创性下降 22.99 点，说明 spark 与 debate 提供了重定向推理的额外途径。 温度基线把五级创造力仅映射到解码温度，与完整框架共享同一提案级奖励；消融在同一训练与评估流程下比较，并附奖励消融表。

多样性同样提升：相对零样本 Qwen3-8B，Night-8B 把归一化研究范式覆盖从 0.738 提到 0.943（约多 1.4 个有效类别，共七类），贡献类型覆盖从 0.370 提到 0.425；移除早期偶然动作替换会使范式覆盖下降 0.099。 把“更原创”与“反复使用同一种创造策略”区分开，并显示早期接触不熟悉行为有助于策略发现更广的有用轨迹；过程奖励则把模型推向更高单篇原创性但更低的引用影响与广度。 用 GPT-5.4-mini 按七类贡献分类与范式分类计算归一化有效类别数，附 10 万次自助重采样区间；36 个评估领域中 Night-8B 在引用与原创性上均优于零样本 Qwen3-8B。

该框架面向早期科研构思，即方向仍属推测、尚不能完全验证的阶段，作者明确把它定位为人类主导研究的创意协作者而非自主研究者，生成的提案应视为候选想法，需领域专家评估、完善与验证。它适用于以奖项标题为输入、生成类似长期科研基金规模的提案，训练与评估数据来自 2018 年以后的 NSF 计算机科学、工程与数学奖项，检索依赖 arXiv 开放获取文献。对读者而言，这提供了一种可复用的思路：把“何时探索、如何探索”作为可训练的控制变量，而不是把随机性当作创造力；对跨学科探索场景，作者认为它可能有助于浮现研究者本地社群之外的方向。

预测引用影响由 SciJudge-30B 代理，原创性由 GPT-5.1 在检索到最近邻文献后成对判断，二者与人类判断的一致性在 70% 出头，因此这些数字应理解为评估代理下的相对比较，而非真实长期影响力的度量。参考提案并非原始 NSF 提案，而是由奖项摘要、结题报告与 PI 相关论文重建的“可信的前置研究计划”，作者也说明其只用于成对评估。过程奖励会提高原创性但降低引用影响与广度，说明不同奖励组合指向不同目标，读者需按自身目的选择。作者还提到训练在高熵目标下可能不稳定，且基础设施对结构化多步智能体的支持有限。此外，本证据包为全文解析，但部分表格与附录数值在文本中以占位或省略形式出现，个别具体数字无法在此逐项核对。