神经元之间的因果联系不再只画成两两连线：有向单纯复形把成组抑制的联合效应也记下来
核心概要
神经网络内部的特征常由一组神经元协同表示，只画两两连线的电路图会漏掉成组抑制带来的联合效应。新方法把网络当作结构因果模型，用沿神经流形的反事实消融逐步压低一组神经元，再按统计显著性把有因果联系的神经元组建成有向单纯复形。在两个手工构造的小型多层感知机上，复形恢复了设计好的特征通路；其1-骨架与ACDC、EAP、EAP-IG保留的、权重图能表达的边一致。
深度剖析
神经网络内部表示的解释对象从两两连线的图扩展为可以容纳多神经元联合作用的有向单纯复形，复形的顶点是内部神经元，边和高维单纯形记录在给定输入集合下神经元激活之间的因果联系。 此前的神经电路发现方法把神经元交互表示为图中的两两边，无法表达一组神经元被同时抑制时对另一神经元产生的联合影响。 在两个内部计算已知的手工多层感知机上，单类输入对应的复形恢复了设计好的特征通路：单语义网络中每个单类复形含10条边和4个2-单纯形，且四个复形在神经元重标号下重合。
构造过程把网络视为结构因果模型，用相干反事实消融沿神经流形逐步压低一组预测神经元的激活，再检验目标神经元的激活变化是否超过按目标尺度设定的相关阈值。 直接把这些神经元置零会把激活向量推离神经流形，破坏特征表示中精细的协同模式，因此改用保持在流形上的反事实轨迹。 在二维四象限分类任务的两个小型多层感知机上，单语义网络与多语义网络的单类复形分别含10条边加4个2-单纯形、以及4到12条边加2到4个2-单纯形，与各自网络结构相符。
复形的1-骨架与既有电路发现方法在两者都能表达的边上一致，即预测神经元直接连接到目标神经元的那些边。 既有方法返回网络子图，只能包含直接相连的边；复形还能给出同层边和反向边，以及二维及以上的单纯形。 在单语义复形中这类可表达的边占40%，在多语义复形中占33%到50%；在多数比较中方法保留了全部这些边，各方法对这些边归属的打分最低AUC为0.65。
启示与展望
演示范围是两个小型ReLU多层感知机上的合成二维四象限分类任务，参考计算由手工构造的网络给出；与ACDC、EAP、EAP-IG的比较只涉及1-骨架中预测神经元直接连接目标神经元的边。作者提出的下一步是把构造用于更大的网络和自然数据。
复形能否识别多语义神经元仍未确定：在多语义网络中，属于最多极大单纯形的神经元是表示第四象限的那个，而不是六个混合两个坐标的神经元。高维单纯形是否对应高阶交互也待回答，因为相关检验只检查联合消融是否有效应，没有与单个预测神经元的效应作比较，而且只有面已被准入的单纯形才会被检验。构造对输入分布较敏感，多重检验校正按维度分别施加，跨维度、输入集合和网络的整体错误率未受控制；相干反事实消融轨迹由局部雅可比计算，在ReLU区域边界处可能无法继续。