只看开头一小段视频,也能排出后续动作:符号图把厨房常识接进预测,3M参数模型在短观察下领先
SymAnt把场景图与知识图谱合并成一张联合图,用图搜索得到的符号上下文作为迭代解码的起点,从而在很短的观察窗口内预测较长的动作序列。在Breakfast与50 Salads的短观察设置中,它的平均类别准确率高于神经符号基线NeSCA和若干大模型基线;在EPIC-KITCHENS上,3M参数的模型与参数量达数十亿的微调大模型处于相近水平。由于预测锚定在可编辑的图上,用户可以在推理时增删节点来改变预测,无需重新训练。