跳到主要内容
返回时间线
arXiv来源发表:

流式视频不再只记“有什么”:DeltaStreamer把帧间变化写进记忆,OVO-Bench总分66.07%

核心概要

流式视频理解要在还不知道后续会问什么的情况下保留证据,而现有方法压缩历史时容易把事件之间的变化抹平,且一旦帧过去就无法找回被省略的细节。DeltaStreamer把相邻帧的视觉变化显式记录进分层文本记忆,并在问题到达后由查询驱动的规划器决定检索、继续观察还是回放历史帧。在OVO-Bench与StreamingBench上,其总分分别为66.07%和59.53%,高于所比较的代表性流式方法。

AI-generated editorial illustration: DeltaStreamer: Towards Human-Like Agentic Streaming Video Understanding

深度剖析

流式视频系统现在可以在观察阶段就把“事件怎么变”写下来,而不只是记录画面里有什么。 此前的流式方法主要围绕token压缩、KV缓存复用和多轮对话管理预算,记录偏向当前存在的内容,帧间变化保持隐含。 在OVO-Bench上,同样输入两帧时,不做变化记录的2F-NoDelta得61.12,做视觉变化比较的2F-VisualDelta得66.07。

问题到达后,系统先判断需要哪类证据、证据在过去还是未来,再据此检索记忆或回看原始帧。 规划器把查询拆成目标与时间锚点、证据类型、时间范围和检索策略,并作为持久计划贯穿后续推理。 在OVO-Bench上,加入计划生成后总分从59.30升到63.85,计划持久化后升到64.77,再加证据契约达到66.07。

文本记忆漏掉的像素级细节可以沿源链接回到历史帧补看。 此前的记录一旦写入,证据就限于保留下来的视觉信号,缺少回到原始帧的通道。 在OVO-Bench的工具消融中,去掉回放后总分降到63.28,是各项工具移除中降幅最大的一项。

启示与展望

演示范围是OVO-Bench与StreamingBench两个流式视频问答基准,使用Qwen3.6-27B作为观察、规划与作答的共享骨干,按1 fps采样,在8块NVIDIA A100上以BF16推理。

回放需要额外的帧访问与视觉处理,可能增加响应延迟;可见记忆紧凑,但记录与历史帧仍占存储。观察或时间锚点的错误会影响检索,跨层记忆一致也不保证答案正确。StreamingBench上主动输出(PO)仅10.40,说明证据处理改善本身不能解决响应时机问题。