跳到主要内容
检索

Chen Chen

1 篇关联报道

订阅更新
  1. arXiv

    循环记忆写入拆成两步:先决定写不写,再决定写几个槽,稀疏事实检索准确率从0.048升到0.222

    循环记忆模型把历史压进固定数量的记忆槽,以往每个词都写入同样多的槽,把“该不该存”和“存几个槽”混成一个决定。Factorized Write Routing 把写入拆成两步:先由学习到的门判断当前词是否写入,再由槽路由器决定更新固定数量还是自适应数量的槽,查询时仍读取全部槽。在两种合成长上下文任务、十个随机种子上,四槽写入时出现随信息密度反转的结果:高密度 Feature Recall 上始终写入的长期准确率为0.472,高于学习门控的0.337;稀疏事实 Passkey 上学习门控为0.222,高于始终写入的0.048。

已读完全部报道