跳到主要内容
返回时间线
arXiv来源发表:

科学智能体不再只靠上一轮反馈:Sage-Taiyi把搜索中形成的理解存下来,泰一基准总分54.0

核心概要

Sage-Taiyi 把科学发现拆成两层:对象层在目标树与想法图上做搜索,元层用可修订的认知状态记录哪些判断有证据、哪些前提未验证,再据此决定下一步查什么、用什么方法。在含50篇论文、265个任务、覆盖十个学科的泰一基准上,它的总分是54.0,最强基线 AI Scientist-v2 为47.9,八项指标均列第一。五个专家参与的化学、材料与工程合作把部分提案推进到实验或计算验证,其中钴催化羰基化模型反应产率从痕量提高到84%。

Source-provided article image: Sage-Taiyi: A Metacognitive Architecture for Scientific Discovery
arXiv

深度剖析

科学发现智能体开始把搜索过程中形成的理解当作可复用的决策依据,而不只是把上一轮结果当作下一轮输入。 此前的迭代式科学智能体主要依赖当前轮次的反馈推进,早期失败、未解决的冲突和跨分支共享的依赖容易被忽略,搜索也可能过度响应最近的结果。 在泰一基准的265个任务上,Sage-Taiyi 总分54.0,AI Scientist-v2 为47.9;在成对比较中它的 Elo 为1322.5,对 AI Scientist-v2 的胜率为66.3%。

系统把“对问题的理解”和“对研究方法的掌握”分开存放,让前者随证据修订、后者跨任务复用。 对象层由目标树组织研究目标与子目标、由想法图记录想法及其来源、由证据状态保存实验结果、文献知识与专家输入并附上来源和适用条件。 元层的认知状态保留关键发现、相互竞争的解释、必要假设与未解问题;认知库保存十种组织研究路径的方法论启发式和可跨流程复用的认知算子,控制环节依据当前状态选择目标与方法。

监测与控制构成两层之间的回路,使共享前提、未解冲突这类跨分支问题进入下一步决策。 监测读取当前认知状态与相关判断和证据,评估变化对后续搜索意味着什么;控制据此决定继续、修订、改道还是停止某个分支。 在通信工程案例中,监测指出若干想法共同依赖一个被动参考方案,控制随后把残余载波作为主动再生参考的种子,并选择算子把参考再生、边带反射与载波信号功率比选择整合进同一接收机候选。

启示与展望

已展示的范围是泰一基准上的构思评测、AgentIdeaBench 与 IG-Arena 两项基准,以及金属催化、光化学、超材料、合金设计与压缩机工程五个有领域专家参与选择和验证的合作;其中超材料与压缩机的结果来自仿真,合金给出重复实验的平均抗拉强度342 MPa。

跨领域复用认知库被列为后续工作,当前结果来自上述基准与五个合作场景;超材料滤波器的6.2%阻带与94.5%通带平均透过率为仿真值,合金的342 MPa为重复实验的平均抗拉强度。