跳到主要内容
检索

# SQUELCH

1 篇关联报道

订阅更新
  1. arXiv

    LoRA不再给每个token固定秩:按噪声底软阈值,平均只激活32个组件中的8.6个

    SQUELCH把每个token需要多少秩一组件当成检测问题:按自身噪声水平软阈值,平均只激活32个组件中的8.6个,在常识推理、知识、数学、代码与GLUE上比LoRA高2.2至3.2分。

已读完全部报道