视频大模型压缩不再全图比对：借压缩码流里的运动与残差，比对量降六成
核心概要
视频大模型压缩视觉token时，压缩决策本身也要做大量特征比对。新方法把压缩视频里已有的参考帧依赖、运动矢量和残差对齐到token网格，用它们先圈出小候选集，再在候选集内做局部视觉相似度判断。在三个视频大模型和四个视频理解基准上，性能与免训练基线FlashVID相当、部分设置更好，token保护与跨帧匹配的比对量明显下降。
深度剖析
视频大模型压缩视觉token时，除了送入语言模型的token数量，做压缩决策本身也要付出比对代价，新方法把这份代价降了下来。 此前的免训练压缩方法主要减少进入语言模型的token数，但帧内token保护和帧间时序合并仍要在视觉特征之间做大量相似度比较。 在Video-MME上以LLaVA-OneVision为基座，相对FlashVID的时序比对量在四个保留率下均减少64.7%，选择比对量从保留率25%时的79.8%升到10%时的96.6%。
压缩视频在解码时本来就带着参考帧依赖、运动矢量和残差，这些编码信号被当作低成本的搜索先验来圈定候选。 编码块与视觉token在时间和空间上粒度不同，一个token可能覆盖多个运动方向不同的编码块，因此编码信号只用来生成候选，不用来直接决定保留或合并。 残差按token区域取绝对残差均值并叠加相对相邻采样帧的正向残差增量，形成保护候选池；运动信息沿完整视频的参考帧链逐级传播，把稀疏采样帧之间的对应关系补出来，再在预测位置附近的局部窗口内算视觉相似度。
在三个代表性视频大模型和四个视频理解基准上，压缩后的平均分与免训练基线FlashVID相当，部分设置更高。 此前免训练压缩的强基线是FlashVID，它用注意力与多样性选token再做树状时空合并。 LLaVA-OneVision在保留率25%时两者平均分同为58.7，保留率降到10%时新方法平均分57.0、保留原模型97.6%的相对精度，且Video-MME长视频子集在四个保留率上分别高出0.9、0.6、1.4和2.0分。
启示与展望
方法面向以压缩码流形式存储或传输的视频，在解码时保留参考帧关系、运动矢量和残差，并把它们对齐到视觉token网格；基座视频大模型、视觉编码器和语言模型都不做修改，也不额外训练。评估覆盖LLaVA-OneVision、LLaVA-Video和Qwen2.5-VL-7B-Instruct三个模型，以及Video-MME、EgoSchema、LongVideoBench和MVBench四个基准，比对量缩减在Video-MME上以LLaVA-OneVision为基座测得。局部匹配半径默认取2，放宽半径取4，时序合并阈值取0.75，参考链传播的时序间隔阈值取4，正向残差增量权重取0.2。
残差大的区域不一定语义重要，纹理、压缩噪声或编码误差也会产生类似响应，因此残差只用于生成候选池，最终保留与合并仍由视觉特征相似度决定。编码块与视觉token的空间粒度不一致，一个token可能覆盖多个参考方向和运动矢量不同的编码块，需要先做参考帧投票与运动矢量聚合。参考链传播可能遇到缺失或异常的运动信息，此时先在半径1内搜索邻近token单元，找不到就沿用上一步的运动矢量；传播异常终止或候选集过小时改用放宽半径，候选仍不足则回退到全局匹配。局部搜索半径增大到4时整体分只比半径2高0.1分，而内部token的最大候选数从25升到81。