跳到主要内容
检索

Fang Wan

1 篇关联报道

订阅更新
  1. arXiv

    MASA 把稀疏注意力选择改为矩阵近似,在三种稀疏框架上以零额外预算提升长上下文准确率

    作者指出稀疏注意力现有选择规则只保留注意力矩阵中数值大或质量高的条目,而 Transformer 实际是通过矩阵乘法使用该矩阵,因此提出 MASA:用矩阵乘积近似误差的闭式分数替换原有的注意力质量排序,在不改变稀疏核、候选单元与预算的前提下接入 MInference、SeerAttention、FlexPrefill 三种框架,在 RULER、InfiniteBench、LongBench 上取得一致的准确率提升且延迟开销可忽略。

已读完全部报道