心智推断答对不等于协作成功:把信念接进可验证任务后,Claude 全对却只有67.9%计划最优
核心概要
心智理论评测常以故事问答判断模型能否推断他人信念,但答对未必意味着能在任务中用上这些判断。研究把家庭协作与日历排程两类可验证任务扩展为信息不对称场景,并拆出世界、信息获取、信念、决策与执行五层独立接口。在匹配的排程案例上,Claude 完整恢复全部智能体信念,却只在67.9%的案例给出主观最优计划;在家庭协作中,向 Qwen-27B 提供信念使任务成功率从55.0%升到75.0%。
深度剖析
心智理论评测从故事问答挪到了带原生校验器的可执行任务上,模型能否把“别人知道什么”转化为可执行的决定,第一次能在同一批任务上分开检查。 此前的基准多通过故事提问考察心理状态推断,正确回答并不能说明模型会在后续任务中使用这些判断。 在同时完成叙事信念与直接规划两个接口的91个故事上,Claude 恢复455/455个智能体信念,但只给出309/455个最优方案,即67.9%。
做法是在保留原有目标、约束与校验器的前提下,给家庭协作任务和日历排程任务加入信息不对称的个人观察与通信历史。 五层接口分别请求世界状态、个人证据、信念、决定与执行,并提供“直接给出个人证据”或“直接给出正确信念”的对照条件,把状态恢复与状态使用分开。 家庭协作任务覆盖七座房子的43个配置、218个事件节点,每个模型1962个固定请求;日历任务为45个统一成本加45个分层成本任务,每个模型1260个请求,六个模型配置参与评测。
提供正确信念并不能稳定消除下游困难,不同模型在固定决策与长程协调之间的落差方向并不一致。 在家庭协作的原生续作中,参考信念把 Qwen-27B 的成功从22/40提到30/40,而 Qwen-4B 只从5/40到8/40,Qwen-9B 仍为2/40与1/40。 Qwen-9B 在两个续作条件下各有35/40个回合没有发出任何任务分配,转而执行1658与1712条探索命令;其固定给定信念决策却达到216/218。
启示与展望
评测范围是六个服务配置、七座房子上的43个家庭协作配置和90个日历任务,任务与参考状态均为冻结输入,结论限于这些模拟家庭与受控日历场景。
每个设置只用一个固定种子,没有独立重复运行;推理预算、采样控制与服务硬件各不相同,结果既不确立纯参数规模效应,也不构成跨独立运行的统计显著性。
