心智推断答对不等于协作成功:把信念接进可验证任务后,Claude 全对却只有67.9%计划最优
心智理论评测常以故事问答判断模型能否推断他人信念,但答对未必意味着能在任务中用上这些判断。研究把家庭协作与日历排程两类可验证任务扩展为信息不对称场景,并拆出世界、信息获取、信念、决策与执行五层独立接口。在匹配的排程案例上,Claude 完整恢复全部智能体信念,却只在67.9%的案例给出主观最优计划;在家庭协作中,向 Qwen-27B 提供信念使任务成功率从55.0%升到75.0%。
心智理论评测常以故事问答判断模型能否推断他人信念,但答对未必意味着能在任务中用上这些判断。研究把家庭协作与日历排程两类可验证任务扩展为信息不对称场景,并拆出世界、信息获取、信念、决策与执行五层独立接口。在匹配的排程案例上,Claude 完整恢复全部智能体信念,却只在67.9%的案例给出主观最优计划;在家庭协作中,向 Qwen-27B 提供信念使任务成功率从55.0%升到75.0%。
多智能体协作的记忆改成以任务依赖图为中心:执行时用共享黑板记录证据并纠正目标、计划与状态偏差,执行后把验证过的步骤和依赖蒸馏成可复用流程,在 ALFWorld、WebArena、OfficeBench 的六个基准设置里都拿到最高任务分。
该工作提出全局一致性问题,即每个智能体做出局部有效决策却共同产生无效结果,并给出观测别名不可能性定理:当k个不可区分世界需要两两不相交的动作时,最佳随机化最坏情况成功率为1/k;随后提出局部到全局运行时语义X=(H,C,G,F;D),由harness掌管共享状态与提交,九项研究显示隐藏关键事件时前沿模型得分12–17/40(接近1/3随机水平),恢复一个权威事实后回到40/40,TeamBench中提交强制执行将违规从5/5降至0/5,tau2-bench Telecom中harness得分1.00而当前状态检查仅0.07。
研究者构建了 AgentWorld——一个基于开源 MMORPG 引擎 Kaetram 的 100 个人工标注任务(另有 100 个 LLM 增强变体)基准,要求 3–20 个角色不对称的智能体在 25–55 轮黑箱条件下协作,并提出基于因果动作图的 Causal Collaboration Effectiveness(CCE)指标;在 Gemini 3 Flash、Claude Haiku 4.5、GPT-5 Mini 和 DeepSeek R1-70B 上测试,最佳模型任务成功率仅 52.0%、CCE 仅 0.320,失败模式集中在沟通中断、角色混淆和无法跨轮维持共享计划。
已读完全部报道