心智推断答对不等于协作成功:把信念接进可验证任务后,Claude 全对却只有67.9%计划最优
心智理论评测常以故事问答判断模型能否推断他人信念,但答对未必意味着能在任务中用上这些判断。研究把家庭协作与日历排程两类可验证任务扩展为信息不对称场景,并拆出世界、信息获取、信念、决策与执行五层独立接口。在匹配的排程案例上,Claude 完整恢复全部智能体信念,却只在67.9%的案例给出主观最优计划;在家庭协作中,向 Qwen-27B 提供信念使任务成功率从55.0%升到75.0%。
心智理论评测常以故事问答判断模型能否推断他人信念,但答对未必意味着能在任务中用上这些判断。研究把家庭协作与日历排程两类可验证任务扩展为信息不对称场景,并拆出世界、信息获取、信念、决策与执行五层独立接口。在匹配的排程案例上,Claude 完整恢复全部智能体信念,却只在67.9%的案例给出主观最优计划;在家庭协作中,向 Qwen-27B 提供信念使任务成功率从55.0%升到75.0%。
该工作提出 EchoChat,把共情语音对话重构为感知、心智状态推理与回应生成的结构化认知推理流程,配套构建 400K 单轮加 4K 多轮会话的 EchoDialogue-400K 数据集、Acoustic-Anchored Attention 与带 Step-Decomposed Credit Assignment 的阶段感知强化学习目标,并发布 1K 条专家标注的 EchoEval 基准;实验显示其在感知、推理与回应一致性上均优于 12 个对比模型,感知均分 8.23、推理均分 8.43、回应均分 9.26,LLM 评分与人工判断的平均 Spearman 相关为 0.83。
已读完全部报道