门控循环网络的长程记忆卡在“谁来学门”上:训练集里掺入短依赖样本,GRU与LSTM就能追上Mamba和xLSTM
门控循环网络的长程记忆瓶颈被定位到“门本身也要靠同一套循环计算学出来”,在受控序列分类任务里给训练集加入短依赖样本后,GRU与LSTM在长依赖测试上的准确率从接近随机回到约九成以上,并追平或超过Mamba与xLSTM。
门控循环网络的长程记忆瓶颈被定位到“门本身也要靠同一套循环计算学出来”,在受控序列分类任务里给训练集加入短依赖样本后,GRU与LSTM在长依赖测试上的准确率从接近随机回到约九成以上,并追平或超过Mamba与xLSTM。
已读完全部报道