V-CoLA 用线性注意力内在信号压缩视觉 token,保留 12.5% 仍达 88% 性能并获最高 6.15 倍预填充加速
作者提出免训练的视觉 token 压缩框架 V-CoLA,针对含线性注意力的混合视觉语言模型,从线性注意力有界循环状态的保留偏好中导出唯一性感知的重要性准则,并配合自适应分块合并与深层视觉 token 提前退出;在 Qwen3.5-9B 等模型上,保留 50% 视觉 token 时达到原性能的 99.5%,保留 12.5% 时仍超过 88.0%,预填充加速 1.86 至 6.15 倍。