跳到主要内容
返回时间线
arXiv来源发表:

视频语言模型数不清重复动作:答案卡在少数偏好数字,计数信息其实还在最后一层

核心概要

RepProbe把重复次数做成可控变量后发现,通用视频语言模型在高次数上计数崩溃,但同一最后一层状态里次数仍可线性解码,说明失败出在输出环节而非表征。

Source-provided article image: RepProbe: Can Video Language Models Count Repeated Actions? A Diagnostic Benchmark
Figure 1 · arXiv

深度剖析

通用视频语言模型在重复次数变多时计数会明显失准,而专门训练的计数模型仍保持准确。 此前对计数能力的评测只看最终答案,且次数与视频时长、来源纠缠在一起,无法把误差归因于次数本身。 在RepProbe-Real的3.2万段真实视频上,专门模型ESCounts在Many档仍保持65.6%的off-by-one准确率,而七个通用模型在Many档最多只有22.2%。

计数信息并没有从模型内部消失,只是没有被说出来。 此前只能看到模型答错,无法区分是表征里没有次数,还是表征里有但读不出来。 在同一个最后一层状态上,线性探针把Cosmos-Reason2的平均绝对误差从3.91降到2.49,把Qwen3-VL从7.88降到3.05,且两者用的是同一次前向传播的同一批帧。

模型的答案会集中到少数几个偏好数字上,而不是跟随真实次数。 此前只知道高次数下误差变大,不清楚错误答案的分布形态。 在单token数字词“one”到“twenty”的公平读出下,Qwen3-VL的答案集中在“fifteen”,Cosmos-Reason2集中在“eighteen”,且各数字出现频率与其在文本中的词频相关。

启示与展望

这项工作面向研究视频语言模型时序推理的读者,适用场景是重复次数已知且可精确控制的片段,包括真实运动视频与程序生成的周期刺激。探针分析集中在Cosmos-Reason2和Qwen3-VL两个最强通用模型上,作者把扩展到更多模型和其他时序量列为自然的下一步。

作者指出,合成部分按设计只隔离周期性,真实视频部分仍限于运动内容,扩展到其他真实视频才能进一步检验普适性。输出侧失败目前只被刻画为答案向偏好数字集中,产生这些偏好的机制仍待后续工作。