跳到主要内容
返回时间线
arXiv来源发表:

视觉token剪枝不再只看单个分数:图传播加度数校正,LLaVA-NeXT保留三成token仍达98.7%精度

核心概要

多模态大模型的视觉token选择改用图传播加度数校正:在四个骨干、十个基准和七个剪枝率上,LLaVA-NeXT保留三成视觉token时精度保留98.7%,并带来净prefill加速。

Source-provided article image: SheafPrune: Sheaf-Guided Graph Propagation for Visual Token Pruning
Figure 1 · arXiv

深度剖析

视觉token的取舍不再只按单个token的显著性打分,而是让token之间交换分数后再排序。 此前的选择器依赖视觉冗余、语言模型注意力或任务相关显著性,图方法虽然关联视觉token并传播重要性,但初始分数并不能单独决定最终排名。 在四个骨干、十个基准和七个剪枝率上,所有基线在同一协议下重新实现,该方法在多数骨干–预算设置上取得最高保留率,且优势在中等至激进剪枝区间持续扩大。

选择器先比较文本与视觉状态,再在视觉图上传播分数,最后按邻域数量校正排名。 传播用行归一化固定每个源节点发出的总权重,度数校正则单独按邻域计数调整排名,两者作用不同。 在LLaVA-NeXT上,去掉度数校正使保留率从99.43%降到91.88%,改用稠密归一化降到91.74%,而随机选择为92.12%。

一个训练好的检查点通过显式保留率条件服务所有评估预算。 此前每个预算通常需要单独训练一个选择器。 选择器约M参数,在冻结的LLaVA-NeXT-8B骨干上仅用语言建模目标端到端训练,训练比例覆盖多个保留率,评估覆盖七个保留率。

启示与展望

报告覆盖四个骨干、十个基准和七个剪枝率,所有基线在同一评估流程下重新实现,比较限于这些已评估的方法与设置。选择器在解码器之前运行一次,未选中的视觉token被物理移除,保留token维持原始位置标识。在LLaVA-NeXT上保留三成候选token时,报告了净prefill加速和端到端FLOPs下降。覆盖度观察把保留率与存活证据的数量和分布区分开来,覆盖感知的选择被列为待测试方向。

报告的是逐点最优超参数协议下的性能包络,不是固定部署曲线。在LLaVA-1.5上被FasterVLM和VisionZip反超,在InternVL3上被G-Prune反超。均匀初始化已保留大部分性能,消融未确立学习初始化是主要增益来源。传播深度扫描显示额外传播并非一致有益,覆盖度观察未隔离精度差异的原因。