循环网络不必再训练：冻结记忆在延迟256步仍能回忆，可训练参数少一半

部分可观测强化学习里的循环记忆模块可以不再训练，只保留随机初始化后的固定权重，智能体依然能完成需要长程记忆的控制任务。 此前的循环智能体把记忆模块与策略或价值函数一起训练，记忆参数本身也是学习目标的一部分。 在延迟回忆任务上，冻结的LRU在延迟到256步时成功率仍为100%，冻结的GRU与可训练GRU一样在延迟128步时达到100%成功率。

做法是把循环单元的参数梯度停掉，让固定的循环网络充当时间特征提取器，只训练它后面的非线性读出与特征混合层。 这一分离来自储备池计算，其中随机初始化的循环网络保持冻结，只有输出映射被学习。 在POPGym的18个设置上，冻结LRU只训练约40%的总参数，最终评估回报0.464，可训练LRU为0.458；冻结GRU只训练约30%的总参数，达到GRU最终回报的88.70%。

冻结记忆还能与可学习的视觉编码器配合，处理以图像为观测的高维部分可观测控制任务。 此前冻结循环网络的研究只在有限的部分可观测环境上评估，未覆盖高维像素观测。 在POPGym Arcade的四个任务上，冻结LRU最终评估回报0.694，可训练LRU为0.624，相对提高11.2%且方差更低；冻结GRU为0.643，保留GRU回报0.676的95.2%。

报告覆盖的是所评估的部分可观测任务：延迟回忆、POPGym的离散控制、MuJoCo Playground的连续控制以及POPGym Arcade的像素控制，冻结对象是循环单元，读出与特征混合层仍可训练。作者提出后续应做更广的消融、更多基准和更强基线，以更好评估结论的普适性。

作者说明未做大规模穷尽的消融，评估覆盖的基准有限，算力约束也限制了所考虑的基线范围。广义储备池计算的分析依赖特定假设，并在放宽的回声状态条件下成立；随机初始化、优化动力学与有限样本效应会带来额外不确定性，训练后的智能体未必严格满足理论条件。