时序增量学习不再存旧样本:每类一个自编码器,保留内存比TS-ACL少约98%
核心概要
面向持续到来的新行为类别,TRACE 不再回放历史样本,也不扩张共享分类器,而是把冻结的时域—频域特征交给每个类别各自的小型自编码器,按重构误差判定类别。在五个多变量时序增量学习基准上,它的五数据集平均最终准确率为 88.85%,保留内存为 9.17 MiB;相比平均准确率最强的解析基线 TS-ACL,保留内存减少约 98.26%,并在 GrabMyo 上取得约 33.43% 的相对准确率提升。
深度剖析
时序分类模型现在可以在不保存历史样本、也不反复改写共享判别边界的前提下接纳新类别。 此前的解析式持续学习方法靠冻结主干并大幅扩张特征维度来避免遗忘,代价是维持庞大的协方差矩阵,部分配置的保留内存超过 500 MiB。 在 HAR、UWave、DailySports、WISDM、GrabMyo 五个基准上,TRACE 的五数据集平均最终准确率为 88.85%,保留内存为 9.17 MiB;TS-ACL 的平均准确率为 84.61%,保留内存为 525.68 MiB。
新类别到来时,系统只为它训练一个独立的小型自编码器,推理时看哪个类别的自编码器重构得最准。 自编码器是一种先压缩再还原输入的神经网络,这里被用来学习单个类别的特征分布,而不是充当共享分类器。 特征提取器是四块一维卷积网络,把原始信号与单边实数快速傅里叶变换的幅度谱拼接后输入,并在初始任务训练后连同标准化统计量一起永久冻结;默认 576 维特征下,每个新类别的自编码器参数约占数 MiB(FP32)。
历史类别的判定函数在后续任务中保持不变,因此旧类识别不会因新类加入而被改写。 共享模型更新会让旧知识漂移,而这里每个已学类别的自编码器在训练后即冻结,不再被访问或更新。 在 GrabMyo 上,TRACE 的旧类平均准确率下降为 1.24 个百分点,生成回放方法 GR 为 26.27 个百分点。
启示与展望
评估覆盖 HAR、UWave、DailySports、WISDM、GrabMyo 五个多变量时序基准,每个增量任务引入两个新类别,结果在五种类别顺序与五个随机种子上取平均并给出 95% 置信区间。
原文指出,扩大预训练覆盖范围通常提升识别表现,但扩展预训练与全类预训练使用了后续任务的标签,因此只作为表示诊断来评估;在 UWave 与 WISDM 上,TRACE 分别与 KLDA 和 TS-ACL 处于竞争而非领先。
