渐进网络不再越堆越重：侧向增益衰减到零，父网络剪掉后输出分毫不差
核心概要
渐进神经网络靠保留每一代冻结列来传递知识，代价是存储与推理随代际增长。WeanNet 只保留一个冻结父网络，把它的逐层激活经一个标量增益送入新学生网络，并让增益在训练中线性衰减到零，部署时直接移除父网络。在概念漂移任务上，它与架构相同的 PNN-Reset 对照相比，各熵设置下漂移态找到新动作的比例都更高，但核心态也同时占优，且与从零重训的 Reset 相当。
深度剖析
新方法把渐进网络的逐层特征传递压缩成只保留一个父网络，训练结束后父网络可以整体移除，部署时的常驻参数不再随代际增加。 完整渐进网络为每一代新增一列并保留全部旧列，存储参数和一次前向要评估的列数都随代际增长，侧向矩阵数量还可能增长得更快。 在 24–64–64–8 的概念漂移网络上，训练时每个智能体常驻 17,232 个参数，剪掉父网络后为 6,280 个，减少 63.6%，两个数字都与代际数无关；训练时评估两列，移除后评估一列。
父网络提供的是逐层激活而不是输出标签，学生网络可以按任务奖励自行决定用哪些父特征、忽略哪些。 知识蒸馏把教师输出分布当作显式训练目标，当新奖励要求的行为与教师不同时，模仿目标会和新任务目标冲突。 每个学生仿射层接收匹配的冻结父激活，经一个可训练侧向矩阵相乘后加入；另有一条可选的父 logit 直连学生输出层的通路，概念漂移与 CartPole 主实验开启该通路，并各自做了开关消融。
侧向贡献乘以一个随训练进度线性下降的标量增益，主配置在 600 个批次中的前 300 个批次里从 1.0 降到 0。 架构相同的 PNN-Reset 对照保留同样的侧向矩阵和注入激活，但增益恒为 1，因此两者的差别只在于是否衰减。 概念漂移任务上，漂移态找到新动作的比例之差在熵系数 0、0.05、0.1、0.2 下分别为 0.213、0.213、0.215、0.190，均为正；但核心态之差为 0.116，按预设的混杂检查属于混合而非纯粹的漂移特异性支持。
启示与展望
已展示的范围是单父网络、多层感知机结构下的逐层特征传递，以及增益衰减到零后父网络可被精确移除。概念漂移任务为 64 个状态、8 个动作、每回合一次决策，主架构为 24–64–64–8，另测 32–32、64–64、64–64–64 三种隐藏层配置。CartPole 用五代重力序列做压力测试，Roblox 障碍赛用五个种子做描述性训练奖励比较。作者提出后续应扩展到更长任务序列、不同控制算法、卷积或循环结构，并检验代际交接这一解释。
作者明确表示结果支持有界临时特征传递，而非普遍的性能优越。概念漂移中 WeanNet 在核心态上也优于 PNN-Reset，按预设判据这属于混合支持，衰减的作用未被隔离为漂移逃逸。完整渐进网络在开启父 logit 直连通路时表现弱，关闭后平均奖励从 0.191 升到 0.665，说明其结果依赖配置。CartPole 上蒸馏与 Regular 的平均回报最高，WeanNet 与 Reset、PNN-Reset 的配对置信区间既未分辨差异也未确立等价。Roblox 五个种子的训练奖励区间重叠，且未直接测量是否进入新开放区域。