视频大模型压缩不再全图比对:借压缩码流里的运动与残差,比对量降六成
视频大模型压缩视觉token时,压缩决策本身也要做大量特征比对。新方法把压缩视频里已有的参考帧依赖、运动矢量和残差对齐到token网格,用它们先圈出小候选集,再在候选集内做局部视觉相似度判断。在三个视频大模型和四个视频理解基准上,性能与免训练基线FlashVID相当、部分设置更好,token保护与跨帧匹配的比对量明显下降。
视频大模型压缩视觉token时,压缩决策本身也要做大量特征比对。新方法把压缩视频里已有的参考帧依赖、运动矢量和残差对齐到token网格,用它们先圈出小候选集,再在候选集内做局部视觉相似度判断。在三个视频大模型和四个视频理解基准上,性能与免训练基线FlashVID相当、部分设置更好,token保护与跨帧匹配的比对量明显下降。
该工作把多晶微结构表示为各向异性功率图(APD),用图神经网络参数化的流匹配学习其紧凑几何参数分布,并引入C4等变架构使输入噪声旋转对应生成微结构旋转;还提出免训练引导框架,通过用户定义的可微目标在无需重训的情况下生成铜焊缝、铸态板坯、3D打印不锈钢和异质层片钛等形态的微结构。
已读完全部报道