跳到主要内容
返回时间线
arXiv来源发表:

机器人协作要读懂人的层级意图:把逻辑一致性写进注意力,矛盾少三成

核心概要

神经符号图变换器把人类推理图作为可学习拓扑偏置接入自注意力,并用可微一阶逻辑损失约束四层意图的一致性,在合成NTU-Hierarchy数据上把逻辑一致性提高3.26个百分点至96.67%。

Source-provided article image: Neuro-Symbolic Graph Transformers for Hierarchical Intention Recognition from Multimodal Human Activity Sequences
Fig. 1 · arXiv · 第 7 页

深度剖析

主动式人机协作需要系统推断的不只是当前动作,还有支配行为的层级意图;这套方法把动作识别从单层分类扩展到原子动作、复合活动、低层意图和高层意图四个层级。 此前的深度学习方法以单层动作分类为主,没有刻画运动学动作与高层目标之间的结构依赖。 评测在合成的NTU-Hierarchy数据集上进行,该数据集把NTU RGB+D 120的既有序列映射为119383个层级片段,覆盖85种动作、16种活动、8种低层意图和4种高层意图。

层级结构不是事后拼接的标签,而是通过人类推理图的可学习拓扑偏置直接进入自注意力,再由可微一阶逻辑损失充当结构正则项,在四个层级上强制本体一致性。 可微一阶逻辑损失加在基线之上后,逻辑一致性提升3.26个百分点至96.67%;在一致性最大化的配置(λ\lambda = 0.5)下逻辑一致性为94.59%,本体矛盾减少33%,同时保留89.90%的top-1动作准确率。 基础配置下NSGT取得91.65%的top-1动作准确率;为避免循环监督,标签生成与一阶逻辑约束之间保持严格隔离。

学到的推理图权重给出了可解释的推理证据,转移边被强烈利用,β\beta trans 约为 +2.6,且没有显式监督。 人类推理图的偏置在准确率与结构连贯性之间形成可调权衡。 这一权重行为来自上述NTU-Hierarchy评测中的学习结果。

启示与展望

这套方法面向需要推断层级意图的主动式人机协作场景,评测范围是合成的NTU-Hierarchy数据集,即NTU RGB+D 120的四层本体扩展,共119383个层级片段。材料未提出下一步实验或部署计划,因此适用边界限于该数据集与四层本体设定。

材料说明为避免循环监督,标签生成与一阶逻辑约束之间保持严格隔离,但未给出真实场景或跨数据集验证;一致性最大化配置下准确率降至89.90%,说明准确率与结构连贯性之间存在权衡。