ConwayNet给每层加一条固定的生命游戏规则：浅层卷积网络在噪声下准确率提升两位数
核心概要
ConwayNet在神经网络每一层加入一条固定的、受生命游戏启发的侧抑制规则：规则参数不参与优化，只根据该层输入算出邻域占据度，再按单元自身状态把出生与存活门混合进输出。规则接入全连接、卷积、宽残差和图卷积网络后，激活图在空间、深度和随机种子之间变得连贯，梯度显著图更多落在物体上；在浅层卷积网络上，高斯、散粒和脉冲噪声下的准确率提升达到两位数，代价是干净准确率在MNIST、EMNIST及其彩色版本上约降一个点，在FashionMNIST和KMNIST上降几个点。
深度剖析
网络每一层的输出现在由该层自己的输入按一条固定规则调节，这条规则不携带可训练参数，优化器无法改写它，只能学着在它之内工作。 此前的神经网络层只做非局部的线性映射加逐点非线性，隐藏层因此难以直接阅读，解释多依赖事后分析。 在MNIST的十层全连接网络上，激活图的低频功率比从无规则的0.090升到0.941，十个隐藏层堆叠后仍保持输入数字的形状。
规则把每个单元邻域的占据度与出生、存活两个设定点比较，用平滑门决定该单元被激活还是被抑制，再按单元自身状态在两者之间连续混合。 生命游戏的离散规则只在陡峭斜率下才复现为独立自动机，网络里每层只施加一次规则，因此改用可微的连续门。 规则接入全连接、两层卷积、WRN-40-2宽残差和两层图卷积四类骨干，在MNIST族、CIFAR-10及其加噪测试集上评估，加噪图像由高斯、散粒和脉冲三种噪声按九级强度生成。
在浅层卷积网络上，加噪测试的准确率提升达到两位数，覆盖灰度与彩色MNIST族，EMNIST上最大。 同一训练配方下的无规则对照网络在相同加噪图像上准确率明显更低，其干净准确率在MNIST、EMNIST及其彩色版本上高出约一个点，在FashionMNIST和KMNIST上高出几个点。 五组种子配对在全部数据集上均为正增益，重采样种子对与测试图像得到的区间远离零；在宽残差网络上提升为个位数，在图卷积网络上高斯与脉冲噪声下为两位数、散粒噪声下反而下降。
启示与展望
演示范围是MNIST族、CIFAR-10及其加噪版本上的图像分类，骨干包括十层全连接、两层卷积、WRN-40-2和图卷积网络；作者说明残差与注意力骨干需要额外的优化处理，本次未评估。
作者列出若干未解决的限制：带规则的网络训练更慢、常需更长日程，并付出最多几个点的干净准确率；并非每条规则都能训练；规则对输入归一化敏感，其他归一化、彩色背景或反相都可能让效果消失或反转；增益依赖骨干与数据，全连接网络的部分连贯性没有延续到卷积骨干。