社会困境不再只有固定规则:OpenSocialJax把隐藏机制抽成千万种配置,八个大模型仍守不住公共资源
核心概要
OpenSocialJax把Clean Up与Commons Harvest扩展成开放式分布:每局从数千万种隐藏配置中抽一套,并在五次试验中保持不变,让智能体靠交互推断工具配方、奖励与资源再生规则。八个大模型在同类队伍与混合队伍中评测,规则发现常能提升表现,却没能稳定维持合作:OpenCleanup的清理负担逐渐集中到少数智能体,OpenHarvest中每支队伍最终都耗尽共享资源。混合队伍里,一个合作智能体能在OpenCleanup以自身收益为代价维持公共品,却无法阻止OpenHarvest的资源枯竭。
深度剖析
社会困境评测从固定规则转向隐藏机制可变的开放式分布,智能体必须同时推断环境规则和其他智能体的行为。 此前的社会困境基准提供多样场景,但不系统改变困境背后的隐藏环境动态,也不考察智能体在重复交互中如何发现并适应这些动态。 每局从数千万种配置中抽取一套,覆盖空间布局以及工具合成、收益和资源动态的隐藏规则,并在五次试验中保持不变。
智能体靠自身经验积累规则证据,并用自写笔记把发现带入下一次试验。 智能体看不到隐藏规则、其他智能体的提示或分数,也不能相互通信,只能依赖环境记录与自己的自由文本笔记。 每次试验结束时模型把笔记改写成简短的经验与计划清单,只有规则证据、试验摘要和这份清单会保留到下一次试验。
八个大模型在同类队伍中规则发现常带来提升,但合作没有稳定维持。 OpenCleanup中几乎所有模型从第一次试验到第二次试验都有提升,但部分模型的收益在第二次试验见顶后回落。 OpenCleanup里清理的有效人数随试验下降,清理集中到更少智能体;OpenHarvest中没有任何模型能让果园撑满一次试验,开源模型与GPT系列每次都早早摘光。
混合队伍中单个合作智能体的效果取决于困境类型。 同类Claude Opus 5.5队伍在OpenHarvest中把果园维持得更久,混合队伍则与其他模型的同类队伍一样迅速耗尽。 混合竞技场中Claude Opus 5.5在OpenCleanup持续清理并承担大部分成本,自身收益远低于同类队伍,而清理最少的模型收益最高;在OpenHarvest它的优势消失,收益降到与其他模型相当。
启示与展望
评测覆盖八个大模型,包括三个闭源模型与五个开源模型,在同类五人队伍和五个模型各控一个智能体的混合竞技场中进行,每个环境三个种子、每局五次试验、每次试验至多400步。环境为OpenCleanup与OpenHarvest两个网格世界,隐藏配置在试验之间保持不变。作者提出未来可把多试验协议扩展到显式通信与更精细的心智理论机制。
规则发现常能提升表现,但并不必然带来持续合作,清理负担在OpenCleanup中逐渐集中,OpenHarvest中共享资源在每个试验内都被耗尽。Claude Opus 5.5在OpenHarvest的果园存活时间在第二次试验见顶后缩短,其笔记显示从第三次试验起多数智能体认为克制不再划算。作者指出,训练能够适应潜在配置的学习型智能体仍是未解问题。
