Zihao Qi

大型视觉语言模型要为每张图处理数百到数千个视觉token，推理开销随之上升。此前的免训练剪枝方法用同一套重要性标准给所有视觉token排序，忽略了它们在编码过程中承担的角色会发生变化。BtsPruner先依据注意力集中度的变化定位角色转折点，再从较深层挑出被全局引用的代表token、从较浅层递归取回局部细节token，在固定预算下同时保留两类角色；在LLaVA-1.5-7B上只保留576个视觉token中的32个（5.6%），仍保住稠密模型91.6%的性能。

大型视觉语言模型要为每张图处理数百到数千个视觉token，推理开销随之上升。此前的免训练剪枝方法用同一套重要性标准给所有视觉token排序，忽略了它们在编码过程中承担的角色会发生变化。BtsPruner先依据注意力集中度的变化定位角色转折点，再从较深层挑出被全局引用的代表token、从较浅层递归取回局部细节token，在固定预算下同时保留两类角色；在LLaVA-1.5-7B上只保留576个视觉token中的32个（5.6%），仍保住稠密模型91.6%的性能。