突触自己记住两个时刻：平衡传播的对比更新搬进器件内部，MNIST误差与标准实现持平
核心概要
平衡传播（EqProp）的突触更新需要比较自由相与微扰相两个时刻的局部量，通常要靠额外存储或复制一份网络来保留先前的值。这里把这一时间比较交给突触自身的双时间尺度动力学：一个易失状态在弛豫中趋向突触前后活动的乘积，一个非易失状态保存学习参数，易失状态的变化经全局门控写入非易失状态。在MNIST单隐层网络上，相位式与连续式两种写法分别达到2.01%与2.24%的测试误差，与标准EqProp的2.00%和2.28%相差在一个标准差以内。
深度剖析
突触不再需要外部电路替它记住自由相结束时的局部相关量，这一时间比较改由突触内部动力学承担。 此前的物理实现要么把自由相的值一直保留到微扰相，要么用两份网络同时给出两个状态，都需要额外存储或复制硬件。 在MNIST单隐层网络上，能量耦合形式与解耦形式的测试误差分别为2.01%和1.98%，标准相位式EqProp为2.00%，差异落在一个标准差以内。
每个突触带两个内部变量，一个随神经活动弛豫，一个长期保存学习参数。 易失状态按类Hebbian规则趋向突触前后活动的乘积，并在每个样本之间复位；非易失状态是纯积分器，没有衰减项，只在学习时被写入。 两种形式都在784–512–10的多层感知机上训练，解耦形式中易失状态不进入有效权重，因此推理只做普通乘累加。
连续式写法把易失状态的逐次增量直接写入非易失状态，省去单独读回上一时刻的值。 相位式写法仍需保留自由相的值直到微扰相结束，连续式写法把保留区间缩短到单个时间步。 连续式更新的测试误差比相位式高0.2%到0.3%，与Ernoult等人此前观察到的趋势一致，原因被归为微扰相学习率必须保持较小。
启示与展望
这一结果在MNIST单隐层网络上验证了两种更新写法都能保持平衡传播的学习能力，能量耦合与解耦两种形式表现接近，为硬件实现留出选择空间。作者把适用对象明确为具备易失与非易失内部状态的突触器件，并据此列出四条动力学要求：易失状态由两端活动驱动且有有限弛豫时间，非易失状态主导有效权重，写入的是易失状态的变化而非其瞬时值，以及每个样本之间能够复位。作者提出的下一步是在器件层面实现或仿真具有所需耦合的突触单元，并考察非理想因素对学习的影响。
连续式更新的测试误差比相位式高0.2%到0.3%，作者将其归因于微扰相学习率必须保持较小，从而减慢收敛并可能限制最终性能。连续式与相位式更新的等价性要求非易失权重在微扰弛豫期间只发生微弱变化，且仿真中对更新梯度施加了逐层范数裁剪，使各步不再精确求和为相位式更新。现有高阶忆阻器虽然已实现易失与非易失状态的共存，但其耦合律通常写入易失状态的瞬时值，与这里要求的写入变化量尚不一致。