跳到主要内容
返回时间线
arXiv来源发表:

混合LLM智能体系统把认知算法发现重构为程序精化,在问题解决任务上一致提升模型拟合

相关研究与后续进展

核心概要

该工作把认知算法发现表述为程序精化问题:将人类构建的认知模型写成概率程序,交给一组LLM智能体在研究者设定的约束内识别模型与行为的不匹配、提出代码级修改并验证结构保真度,修改再传入概率推断模块完成潜变量推断与数据似然计算;在一个暴露多种认知算法的问题解决范式的人类行为上,修订后的模型相对其祖先模型一致提升拟合,并显现出一小组反复出现的创新,捕捉到该任务中有意义的行为变异。

Source-provided article image: Hypothesis-guided discovery of cognitive algorithms via program refinement
Figure 1 ·

Figure 1: Strategy discovery and evaluation system

arXiv

深度剖析

提出一种混合系统,把认知算法发现当作程序精化问题来处理,人类构建的认知模型以概率程序形式输入,由LLM智能体系统承担模型与行为不匹配的识别、受约束的代码级修改提议以及结构保真度验证。 相较传统认知建模依赖人类专家、可解释但缺乏灵活性与可扩展性,以及LLM从头生成认知模型可扩展灵活但缺少人类专家角色且多用于比算法恢复更简单的任务,该工作把人类专业知识与LLM智能体结合,并明确面向算法恢复。 证据来自摘要所述的系统设计与评估流程描述,属于方法层面的论证;具体实现细节、智能体数量与约束形式未在文本中给出。

修订后的模型在一个暴露多种认知算法的问题解决范式的人类行为上,相对祖先模型一致提升模型拟合。 该结果把程序精化流程的有效性从设计主张推进到行为数据上的拟合改进,且改进方向在评估中保持一致。 证据为摘要中报告的评估结论,即修订模型一致改善拟合;文本未给出具体拟合指标、样本量或效应量。

修订过程显现出一小组反复出现的创新,这些创新捕捉到该任务中有意义的行为变异。 说明精化并非产生大量零散改动,而是收敛到少量可复用的结构性创新,从而解释任务中的行为差异。 证据为摘要中的定性总结,未列出这些创新的具体内容或数量。

修订结果会传入概率推断模块,由该模块完成潜变量推断与数据似然计算。 把LLM智能体的代码级修改与概率建模的推断和似然评估衔接起来,使结构改动可以在概率程序框架内被量化检验。 证据为摘要中对系统流程的描述,属于架构说明。

启示与展望

该结果面向的是把认知算法发现表述为程序精化的场景:研究者已有可写成概率程序的认知模型,并愿意设定代码级修改的约束。在这一设定下,系统可用于识别模型与行为的不匹配、提出受约束的修改并验证结构保真度,再由概率推断模块完成潜变量推断与似然计算。其直接适用对象是认知科学中从事算法推理建模的研究者,评估场景是一个暴露多种认知算法的问题解决范式。

文本为摘要级信息,未给出具体拟合指标、效应量、样本量、智能体配置与研究者约束的具体形式,也未列出那一小组反复出现的创新内容。因此读者仍会关注:这些创新在多大程度上依赖特定问题解决范式,概率程序与约束的设定如何影响修订方向,以及结构保真度验证的具体判据。这些问题属于后续工作可以展开的方向,而非对现有工作的否定。

来源