门控循环网络的长程记忆卡在“谁来学门”上：训练集里掺入短依赖样本，GRU与LSTM就能追上Mamba和xLSTM

门控循环网络的长程记忆能力并不只取决于门结构本身，还取决于门值能否被学出来；当训练样本全部要求长程记忆时，门的学习信号同样会随序列变长而衰减。 此前对GRU和LSTM的通行解释是：门控更新中的加性路径可以为信息和梯度提供近似恒等的通道，遗忘门接近1或更新门保留旧状态时信息就能跨越长时间间隔。 在受控的多类时序XOR任务上，仅用长依赖样本训练时，随序列长度增加，普通RNN最先退化，GRU与LSTM也降到接近随机水平，说明门控结构并未自动解决长程学习。

把同一个标签规则以更短的时间间隔再暴露一遍，就能让共享的门先学会“何时写入、何时保留”，再把这套行为用到长间隔上。 门参数在所有序列位置上共享，因此某个位置学到的更新会改变整条序列使用的门；短依赖样本中任务相关输入离最终损失更近，学习信号经过的循环变换更少。 在混合训练中，每个信息词组的样本里有一部分改用短依赖放置，GRU与LSTM在全部长依赖测试样本上保持约九成或更高的平均准确率，而普通RNN即使把隐藏宽度从较小值加大到较大值也没有相应提升。

短依赖训练带来的收益可以跨类别迁移：只给一个信息词组提供短依赖样本，另一个从未获得该支持、只出现在长依赖训练样本中的词组也会明显改善。 此前不清楚门的学习是否只对获得支持的那组词元和标签有效，还是能作用于共享的记忆行为。 只对其中一组提供短依赖支持时，受支持组在测试长度上保持约九成以上平均准确率，未受支持组也从仅长依赖的基线提升到约七成至八成，但仍低于受支持组和两组都获得支持时的水平。

这一门学习问题同样出现在门只依赖当前输入的minGRU和minLSTM上，加入短依赖样本后它们也能达到与Mamba、xLSTM相当或更好的测试准确率。 minGRU与minLSTM把门和候选状态都只从当前输入算出，去掉了对前一隐藏状态的依赖，但去掉这一依赖并不自动保证早期位置的门能获得足够的学习信号。 在二元时序XOR上，仅用长依赖样本时LSTM、minGRU、minLSTM随长度增加趋近随机，而Mamba与xLSTM保持较高平均准确率；加入短依赖样本后，minGRU与minLSTM在所有测试长度、所有运行中都达到满分，LSTM也大幅提升。

报道覆盖的是受控合成序列分类任务：多类与二元时序XOR，序列由两个决定标签的信息词元和其余非信息词元组成，验证与测试一律使用长依赖放置。结论适用于GRU、LSTM、minGRU、minLSTM以及作为对照的Mamba与xLSTM，在小型配置、多种子重复运行下测得。作者提出下一步是识别或引入可比的短依赖支持，用于语言、图像等真实数据训练的大规模模型。

诊断探针显示梯度传播与选择性更新发生变化，但这些变化在长程解学习中的因果作用尚未被单独隔离；作者提出可以通过干预已学到的门函数来厘清哪些行为导致成功与部分迁移。在测试配置下，Mamba与xLSTM为何能更可靠地从纯长依赖样本中学到任务，仍不清楚。短依赖窗口大小存在倒U形影响：窗口过小缺少非信息上下文，过大又拉长了依赖距离。