智能体不再只改行为:把环境规律写成可证伪假设,反应堆实验完成率从0%升到83%
核心概要
EvoBelief把智能体对环境的认识写成可证伪的假设,只有经过独立证据验证的规则才能影响预测和计划,语言模型本身保持冻结。在ALFWorld上,无行为侧转移记忆时,它相对同配对的冻结世界模型把成功率提高23.9%(Claude Haiku 4.5)和31.3%(GPT-5.4);在DiscoveryWorld反应堆实验室,它完成83.3%的普通档和58.3%的挑战档实例,而每个被评估基线均为0%。
深度剖析
智能体自我改进多了一条路径:不改行为策略,改对环境的认识。 此前的自进化智能体主要从轨迹、反思、记忆或技能里改进怎么行动,对环境的先验信念错了却不会自动纠正。 在ALFWorld上,去掉行为侧转移记忆后,EvoBelief相对使用同一无规则演员与预测器的冻结世界模型,成功率提高23.9%(Claude Haiku 4.5)和31.3%(GPT-5.4)。
环境知识以可证伪假设的形式存在,先形成、再验证、后授权。 新推断出的规则不能直接使用,必须先在后续观测或受控实验中获得独立证据,被反例推翻时收窄或退役。 在MiniGrid上,门钥匙在第20回合后静默更换,EvoBelief在切换前后都解出多数回合,并在反例使旧规则退役后重新实验、验证后继规则,成功率回到切换前水平。
验证过的规则可以跨任务复用,并直接改变预测与计划。 规则描述的是环境而非任务,因此一条被验证的修正能同时改善多个任务,包括智能体没见过的任务。 在ALFWorld的四种配置中,超过80%的受验证规则决策发生在规则获得授权的任务族之外;在DiscoveryWorld反应堆实验室,被验证的定量定律用于设定目标反应堆参数。
启示与展望
实验在文本环境中进行,转移可被记录、预测可被核对,且所需结果可观测。评估覆盖ScienceWorld与ALFWorld的静态动态、MiniGrid的隐藏漂移,以及DiscoveryWorld反应堆实验室与植物营养两个主题的普通档和挑战档。语言模型保持冻结,全部适应发生在外部的世界模型里。作者把扩展到多模态、具身和真实软件智能体列为下一步。
在随机效应明显的环境中,提交规则需要以统计检验替代计数阈值;代价高或不可逆的干预需要在明确风险限制或人工批准下运行。当情节记忆已经补上先验缺失时,它与显式信念部分重叠,何时依赖哪一种仍是开放问题。植物营养主题的挑战档知识得分低于普通档,且完成率与知识得分是相关但不同的挑战。
