从动作读出计划:GenEA把身体力学与物体物理并入同一状态空间,解释人类判断
核心概要
GenEA把智能体的粗粒度身体力学与周围物体的物理交互放进一个多层级状态空间,再嵌入生成模型,得到目标与具身计划的联合概率分布。此前对人类计划推理的建模多把智能体抽象为二维网格中的点状实体,难以处理自然场景中身体与地形带来的约束。在积木操作与障碍路线导航两类实验中,GenEA通过该联合分布的简单变换复现人类的目标推断、动作推断、单手或双手策略偏好与难度判断,并优于任务与运动规划基线、启发式模型以及一个前沿视觉语言模型。
深度剖析
GenEA把“读懂别人的计划”从点状智能体在网格世界里的推理,推进到带身体、带物体、带重力的自然场景推理。 此前的计算模型把智能体抽象为二维网格环境中受高度约束转移规则支配的点状实体,而自然具身场景是开放且动态的。 在积木操作与障碍路线导航两类性质不同的实验中,GenEA与人类判断高度吻合,并优于启发式模型、标准任务与运动规划以及一个前沿视觉语言模型。
做法是在机器人任务与运动规划的两层结构上再加一层动力学,让计划在符号、运动学、物理三个层级之间循环搜索。 标准任务与运动规划只含符号层与运动学层,GenEA在其上增加用游戏引擎式近似模拟实现的直观物理层,并把轨迹端点视为带噪声而非固定。 操作任务用PhysX、导航任务用MuJoCo做物理模拟,导航中智能体取Talos人形机器人髋部以下关节,计划概率按执行代价的玻尔兹曼分布给出。
人类对计划的判断可以读作这个联合分布的变换,而不需要另设一套推理规则。 目标推断、动作推断、单手或双手偏好与难度评分分别对应不同的查询约束,模型用同一条无参数选择规则给出偏好。 在三个预注册实验中,GenEA与人类偏好和反应时的相关显著,且对平台材质变化的敏感方向与人类一致,而任务与运动规划基线对材质变化没有反应。
启示与展望
展示范围限于积木重排的操作任务与平台间行走、跳跃的导航任务,人类数据来自预注册的在线行为实验,模型输入是实验参与者同样可见的初始与目标物体构型。作者把GenEA定位为计算层解释,而非指出心智实现该分布的具体算法。
作者明确表示,心智可能用一组较小的前向模型和模块近似GenEA的后验分布;其主张是任何此类表征都应与GenEA大体类似。要让GenEA用于机器人,还需接入使其可由图像计算的感知系统,这一点属于设想而非已验证结果。
