跳到主要内容
返回时间线
PhAI Labs来源发表:

研究智能体学会从自己的研究经历里改进:两轮自我提升后,假设可检验性明显上升

核心概要

研究智能体能否从自己的研究经历中持续改进,取决于能否把假设变成可执行、可检验的调查,并知道该强化哪一步贡献。DiscoveryRSI 用多智能体演化搜索构建假设树,保留每个提案与修订背后的证据和决策,再据此训练模型、改进工作流。两轮自我提升后,平均假设质量从 4.86 升到 5.39,增益集中在可检验性:可证伪性从 4.00 升到 6.20,数据可解析性从 3.73 升到 4.99。

AI-generated editorial illustration: DiscoveryRSI · recursively learning to discover valuable hypotheses: research agents that improve from their own research experience

深度剖析

研究智能体的自我改进不再只靠最终提案,而是把研究过程中每一步贡献都记录下来用于学习。 此前只保留最终提案时,提出解释、补充对照、根据新证据修改计划这些贡献都会消失,无法判断该强化哪一步。 两轮自我提升后,平均假设质量从 4.86 升到 5.39,增益集中在可检验性:可证伪性 4.00 到 6.20,替代解释 4.44 到 5.98,数据可解析性 3.73 到 4.99。

系统把选定的计算型调查编译成可执行的 Harbor 任务,让假设真正能跑起来。 把一个假设变成能实际运行的调查,需要固定它的数据需求和验证标准,同时不改变它提出的问题。 评估覆盖四个生命科学领域——临床与人群健康、治疗靶点优先级、疾病机制和人群多组学——并加入一个 battery 设置,检验方法能否延伸到生命科学之外。

智能体从研究经历中学到的主要是如何让调查变得可检验。 开发或修复已有假设的回合占比从 77.5% 升到 91.7%,而以新问题重新开始的回合占比从 21.7% 降到 5.0%。 在 27 位具有生物医学或临床研究背景的评审者盲评 292 份提案中,每次修订的平均得分变化为 DiscoveryRSI-27B +0.07、GPT-5.6 Sol +0.03、GPT-6 Luna −0.01。

启示与展望

评估覆盖临床与人群健康、治疗靶点优先级、疾病机制和人群多组学四个生命科学领域,另加一个 battery 设置检验方法能否延伸到生命科学之外;技术报告、GitHub 代码以及 Hugging Face 上的模型和数据集均已公开,DiscoveryRSI 直播也已开始。

两轮之后自动的重要性与新颖性得分下降,说明增益在调查如何设计;人工评估是初步的,修订比较在同一研究树内进行;与已发表研究的比较是描述性的,组大小和截止时间不同,研究者是否采用这些假设需要前瞻性跟踪。