跳到主要内容
检索

# 混合注意力-RWKV时间序列基础模型

1 篇关联报道

订阅更新
  1. arXiv

    RWKV长程预测会衰减：交替插入注意力块，36M参数在GIFT长程追平1B模型

    HART把Transformer块与RWKV块交替堆叠，让预测区直接检索历史，在GIFT-Eval与TIME-Benchmark的中长程上优于纯RWKV，并以36M参数在GIFT长程取得与Toto-2.0-1B相当的MASE。

    Huawei Technologies (China)Shantou UniversityGuangdong University of TechnologyUniversité Paris Cité
    Qingwen Lin（第一作者）
    混合注意力-RWKV时间序列基础模型占位符空转衰减非自回归多步预测时间序列基础模型循环神经网络

已读完全部报道