多区域证据连起来训练:只用单图合成数据,ZwZ2-27B在25项基准上平均60.51%
核心概要
多模态感知的训练数据不再逐任务定制。空间感知与长上下文理解此前各自依赖昂贵标注,而EVIDENCECONNECT改为在同一张图里挑出3到7个相关区域,用放大视图合成需要比较、汇总或串联证据的选择题,再以RLVR训练基座模型。ZwZ2-4B在ViewSpatial-Bench上从37.43升到45.26,在MileBench上从60.08升到70.08,25项基准平均从49.41升到54.79。
深度剖析
多模态模型的训练目标从“看清某个区域”转向“把一张图里分散的几处证据连成一个答案”。空间感知要求模型恢复物体之间的相对位置并组合多条空间关系,长上下文理解要求模型跨图像与对话轮次定位事实、绑定实体,两类任务此前被当作不同问题分别造数据。 此前的合成数据要么围绕单个区域做细粒度监督,要么集中在少数多图、多轮格式上;空间关系标注需要精确的定位与关系接地,人工昂贵,自动生成器又常编造关系。 在同一4B基座上,用20.4K条合成样本训练后,11项基准的平均准确率从基座的47.16升到53.86;作为对比,单区域合成的ZwZ用73K条样本只到49.86,另外四个合成数据集TVG、F2RVLM、CRIT、MMHops训练后的平均值都低于基座。
每条训练题由同一张高分辨率图像中的一组相关区域构成,模型必须自己定位这些区域、把事实绑定到正确实体,再组合出答案。 EVIDENCECONNECT是这套全自动合成流程的名字:它先用强视觉语言模型提出候选区域并按任务族分组,再把各区域的原分辨率裁剪按相对位置排到一张画布上,形成只在造数据时可见的放大证据视图。 题目由该视图生成,要求比较、汇总或串联证据;参考答案只有在两个不同模型家族的视觉语言模型多数一致时才保留,随后逐个遮住区域做消融,若答案在去掉某区域后仍能恢复,该区域被判为冗余,冗余区域多于一个的题目被丢弃。
训练时模型看不到放大视图,只拿到原图,选中的区域用彩色轮廓标出,因此它仍须自己感知并连接证据。 合成数据最终转成四选一选择题以支持规则奖励,并用一个轻量视觉语言模型筛掉每次都答对的过易样本。 最终数据集含20.4K条样本,每条涉及3到7个区域,其中3区域占65.74%、4区域占24.34%;难度上易、中、难、极难分别占33.75%、22.04%、19.07%、25.14%。三个规模共用同一份数据和同一套GRPO配置训练两个epoch。
启示与展望
演示范围是SA-1B单图合成的20.4K条选择题,在Qwen3.5-4B/9B与Qwen3.6-27B上以GRPO训练两个epoch,并在25项基准上评测;作者提出的下一步是把合成扩展到跨视频帧的证据,以及检验同一监督是否惠及更大模型或预训练等更早阶段。
作者报告增益并不均匀:逐区域消融在11项基准的7K对比中把平均从51.03提到52.65,但ERQA下降4.00点;放大视图合成平均高1.27点,却在Chartography和ERQA上更低。长上下文增益在最长上下文处收窄,128K的MMLongBench视觉核心上4B与9B仅与基座持平,作者将其归因于训练样本均为单图短上下文。
