SCOPD 用稀疏上下文在线自蒸馏把 10% 视觉 token 下的 VLM 性能从 86.37% 提升到 92.43%
该工作通过固定上下文的 Pass@K 分析发现视觉 token 剪枝后的性能下降并非全是信息丢失，而是模型未能可靠利用残留证据（表征—利用差距），并提出 SCOPD 与 SCOPD+ 两种稀疏上下文在线自蒸馏方法，在 10% 视觉 token 保留率下把 13 个基准的归一化平均性能从 Vanilla 的 86.37% 提升到 90.49% 和 92.43%，且不改变架构、不增加推理开销、不需要真实答案。