FactorEngram 用共享字典分解 n-gram 记忆，在 340M 与 1B 骨干上把 8K 长上下文检索准确率最高提升 43.3 个百分点
该工作提出 FactorEngram，把查找式 n-gram 记忆从「每个模式一个整体嵌入」改为「在跨模式共享的基向量字典上检索稀疏系数」，并用同一字典做基级别的上下文门控，在 340M 与 1B 参数 Transformer 骨干上改善了语言建模、下游任务与长上下文检索表现。
该工作提出 FactorEngram，把查找式 n-gram 记忆从「每个模式一个整体嵌入」改为「在跨模式共享的基向量字典上检索稀疏系数」，并用同一字典做基级别的上下文门控，在 340M 与 1B 参数 Transformer 骨干上改善了语言建模、下游任务与长上下文检索表现。
已读完全部报道