只看开头一小段视频，也能排出后续动作：符号图把厨房常识接进预测，3M参数模型在短观察下领先
核心概要
SymAnt把场景图与知识图谱合并成一张联合图，用图搜索得到的符号上下文作为迭代解码的起点，从而在很短的观察窗口内预测较长的动作序列。在Breakfast与50 Salads的短观察设置中，它的平均类别准确率高于神经符号基线NeSCA和若干大模型基线；在EPIC-KITCHENS上，3M参数的模型与参数量达数十亿的微调大模型处于相近水平。由于预测锚定在可编辑的图上，用户可以在推理时增删节点来改变预测，无需重新训练。
深度剖析
动作预测不再只靠视觉历史，而是先由场景图与知识图谱拼出一段显式的符号上下文，再据此生成未来动作序列。 此前的纯神经方法需要较长观察窗口和大量训练数据，神经符号方法NeSCA则只使用静态知识图谱。 在Breakfast与50 Salads的短观察设置中，SymAnt的平均类别准确率高于NeSCA、FUTR以及GPT-o1、DeepSeek-r1等推理模型基线。
做法是先把每帧检测到的物体连成带空间关系的场景图，再按时间累积成时序场景图，并与预先构建的知识图谱按共同物体连接。 连接后从共同节点出发做联合图搜索，由传播网络、重要性网络和上下文网络决定扩展哪些相邻节点，得到的嵌入作为迭代解码器的初始上下文。 知识图谱只从训练集构建一次，推理时不更新；在Assembly101这一非烹饪装配数据集上，同一套构图流程直接沿用。
预测结果可以被人工改动：在图上激活或停用某个动作节点，会改变模型输出的动作序列。 纯神经模型没有这样直接对应到具体概念的调节入口。 在50 Salads上针对Cut Tomato、Cut Lettuce、Serve Salads三项动作，停用目标节点使准确率明显下降，强制激活则把准确率提高到100%。
启示与展望
演示范围是五个动作预测数据集上的离线评测，包括第三人称的Breakfast、50 Salads，第一人称的EPIC-KITCHENS、EGTEA Gaze+，以及装配类的Assembly101，另有一个小型真实厨房场景的定性示例。
方法依赖现成的物体检测器，初始检测失败会传导到后续预测；知识图谱虽可由通用来源替代，但仍是流程的一部分。知识编辑实验显示，停用动作节点会大幅降低但不能完全消除对应预测，说明视觉特征会部分绕过符号通路。