视频大模型压缩不再全图比对：借压缩码流里的运动与残差，比对量降六成

视频大模型的视觉token压缩多了一条不花训练成本的线索：压缩视频码流里本来就带着参考帧依赖、运动矢量和残差，这些编码信息可以当作低成本的搜索先验，用来缩小压缩决策要比较的范围。 此前的免训练压缩方法主要盯着送进语言模型的token数量，压缩决策本身仍要在大量视觉特征之间做比对，帧内token保护和帧间时序合并尤其如此。 在LLaVA-OneVision、LLaVA-Video和Qwen2.5-VL-7B-Instruct三个模型、Video-MME、EgoSchema、LongVideoBench、MVBench四个基准上，平均分与免训练基线FlashVID相当，部分设置更高；在Video-MME上，时序比对量相对FlashVID减少64.7%，token保护的比对量在25%保留率下减少79.8%，到10%保留率时减少96.6%。

做法是把编码信息先对齐到视觉token网格，再让残差和运动各管一件事：残差负责圈出帧内需要保护的候选，运动负责在稀疏采样帧之间找跨帧候选，最终是否保留或合并仍由局部视觉特征相似度决定。 编码块和视觉token在空间与时间上都不对齐，一个token可能覆盖多个编码块，而当前采样帧的编码参考往往不是前一个采样帧，而是两者之间的中间帧，单步运动矢量无法直接给出两个采样帧之间的对应。 方法沿完整视频的参考帧链传播运动信息，把多段短程编码依赖合成为采样帧级的对应位置，再在预测位置附近半径2的局部窗口内做视觉相似度匹配；传播异常时放宽到半径4，候选过少时回退到全局匹配，整个过程不修改基础VLLM，也不重训视觉编码器或语言模型。

这项工作面向使用压缩视频码流的视频大模型推理，读者是关注多模态推理效率的研究人员和工程师。方法在解码阶段保留参考帧关系、运动矢量和残差，把它们对齐到视觉token网格后用于token压缩，基础VLLM、视觉编码器和语言模型都不改动。实验覆盖LLaVA-OneVision、LLaVA-Video和Qwen2.5-VL-7B-Instruct三个模型，以及Video-MME、EgoSchema、LongVideoBench和MVBench四个基准，比对量数据在Video-MME配合LLaVA-OneVision上测得。

编码信息并不直接决定保留或合并哪些token：大残差也可能来自纹理、压缩噪声或编码错误，因此残差只用来构造候选池，最终选择仍靠视觉特征注意力。参考帧链传播会遇到缺失或异常的运动信息，此时先在半径1内寻找有效运动矢量，找不到就沿用上一步的运动矢量；传播异常或局部候选过少时改用放宽半径或回退到全局匹配。局部搜索半径从2增到4只把整体分提高0.1，却把内部token的最大候选数从25增到81，因此默认取2。