arXiv来源发表:
LoRA不再给每个token固定秩：按噪声底软阈值，平均只激活32个组件中的8.6个
核心概要
SQUELCH把每个token需要多少秩一组件当成检测问题：按自身噪声水平软阈值，平均只激活32个组件中的8.6个，在常识推理、知识、数学、代码与GLUE上比LoRA高2.2至3.2分。
深度剖析
低秩适配的每个秩一组件都会作用到每个token上，而混合专家变体改用学习到的路由器激活固定数量的组件；SQUELCH改为让每个token的激活秩随自身响应变化。 此前的做法要么把全部秩一组件施加到每个token，要么由路由器固定激活数量。 在常识推理、知识、数学、代码和GLUE上，用LLaMA-3.1-8B、Qwen3和DeBERTaV3测试，SQUELCH比LoRA高2.2至3.2分，比最强的混合基线高0.8至1.2分，平均每个token激活32个组件中的8.6个。
它把token对秩一组件的响应看成少数大值叠在高斯噪声底上，噪声底宽度与未训练适配器相当，且携带的是串扰而非适配。 SQUELCH不给LoRA增加任何可训练参数，也不需要指定秩预算。 阈值倍数由Stein无偏风险估计为每个模块选定，随后在值Gram矩阵上做一步解释消除，抑制冗余的共激活组件并招募互补组件。
启示与展望
报道范围限于该工作的摘要，覆盖常识推理、知识、数学、代码和GLUE上的评测，模型为LLaMA-3.1-8B、Qwen3与DeBERTaV3。适合关注参数高效微调与混合专家路由的研究人员和工程师阅读。
材料为摘要，未给出各任务的分项结果、阈值选择的具体数值或解释消除步骤的开销；平均激活8.6个组件是报告的平均值，逐token分布未说明。