突触自己记住两个时刻:平衡传播的对比更新搬进器件内部,MNIST误差与标准实现持平
平衡传播(EqProp)的突触更新需要比较自由相与微扰相两个时刻的局部量,通常要靠额外存储或复制一份网络来保留先前的值。这里把这一时间比较交给突触自身的双时间尺度动力学:一个易失状态在弛豫中趋向突触前后活动的乘积,一个非易失状态保存学习参数,易失状态的变化经全局门控写入非易失状态。在MNIST单隐层网络上,相位式与连续式两种写法分别达到2.01%与2.24%的测试误差,与标准EqProp的2.00%和2.28%相差在一个标准差以内。