RWKV长程预测会衰减：交替插入注意力块，36M参数在GIFT长程追平1B模型
核心概要
HART把Transformer块与RWKV块交替堆叠，让预测区直接检索历史，在GIFT-Eval与TIME-Benchmark的中长程上优于纯RWKV，并以36M参数在GIFT长程取得与Toto-2.0-1B相当的MASE。
深度剖析
在非自回归多步预测中，纯循环模型RWKV-7的长程预测会系统性退化，而交替加入注意力块后这一退化被明显缓解。 此前RWKV-7在语言建模上可与同规模Transformer相比，因此按推理本应在长程时间序列预测上有竞争力；但在非自回归设置下，它在预测区出现幅度塌缩，而同样数据与训练配置下的Transformer没有出现可比塌缩。 在合成信号上，RWKV-7在预测区幅度塌缩，Transformer在相同数据与训练配置下没有可比塌缩；在GIFT-Eval上，HART把长程MASE从纯RWKV的0.770降到0.752，中程从0.749降到0.727，短程保持相当。
HART让预测位置既能通过注意力直接取用历史词元，又保留循环状态对局部时序的建模。 做法是把一个Transformer块与一个RWKV块交替堆叠成主干，注意力负责全局检索历史，RWKV的广义delta规则负责在历史区累积观测信息。 三个模型在相同数据、优化策略与随机种子下预训练，评测覆盖GIFT-Eval的97个评测条目与TIME-Benchmark的98个任务-频率组合，指标为相对季节朴素预测的MASE并按几何平均汇总。
层间测量显示，多数层在预测区的写入范数低于历史区，而转移矩阵范数在两区接近。 这一模式与占位符空转衰减的写入补偿假设一致：预测区没有新观测，占位符驱动的写入若补偿不足，历史信息会随状态转移被削弱。 在4096条合成序列上，历史区16384步、预测区1024步、块长16，前七层预测区与历史区的写入范数比为0.60至0.87，第8至11层为0.84至0.97，第12层反转为1.34，而转移矩阵范数比在各层保持在1.00至1.03。
启示与展望
报告面向做时间序列预测与序列建模的研究人员和工程师，覆盖非自回归多步预测下的RWKV-7机制分析与HART架构，评测限于GIFT-Eval与TIME-Benchmark两个基准及六个合成信号。机制分析只针对RWKV-7；把转移与注入的分解推广到其他循环架构需要单独验证。
范数诊断刻画的是矩阵幅度，并不直接测量保留了多少历史信息，也不直接给出转移乘积的收缩率。预测比较不能把增益单独归因于占位符空转衰减，因为架构、训练数据与推理设计的影响未被分离。合成信号上HART并不占优：在SE4上RWKV的长程MASE为1.058，低于HART的1.148与Transformer的1.151。教师强制对照改变了可用信息，既不能分离占位符空转衰减，也不代表可部署的自回归预测。