跳到主要内容
返回时间线
arXiv来源发表:

ZoomGain把“放大才看清”的细节变成考题:9K样本做强化学习,4B模型在14项基准上全面超过ZwZ同源训练

核心概要

ZoomGain 是一条数据构建流程,它比较同一区域在全图与放大视图下的描述,把只有放大后才明确的细节改写成针对整张图的问答,并用多个模型在放大视图上核验答案、剔除仅凭语言先验即可作答的题目。据此构建的 1000 题中英双语基准 ZoomGainBench 上,28 个视觉语言模型里最好的 GPT-5.6-Sol 只得 61.08;用 9K 条 ZoomGain 样本做 GRPO 强化学习后,Qwen3.5-9B 在 13 项留出基准上的平均分为 66.10,高于 Qwen3.5-397B-A17B 的 65.55。

Source-provided article image: ZoomGain: Mining Global-to-Zoom Perception Gaps for Fine-Grained Visual Supervision
arXiv

深度剖析

细粒度视觉监督的构建方式变了:题目不再由人逐条编写或由模型直接生成,而是从“整张图看不清、放大后才明确”的细节里反向造出针对整张图的提问。 此前这类基准的问答多由人工标注,或由模型生成后再经大量人工编辑,规模化整理成本高,且很少过滤掉只靠语言常识就能答对的题。 在 1000 题、覆盖 941 张图像的 ZoomGainBench 上,28 个视觉语言模型中得分最高的 GPT-5.6-Sol 为 61.08,只有 5 个模型超过 50。

流程先在全图上定位一个可唯一指认的锚点物体,再分别描述整图视图和放大视图中的同一区域,取两者之差作为出题依据。 增量事实只保留放大视图明确写出、而整图描述中缺失、标注为看不清或说法不同的内容,因此答题必须依赖该细节本身。 答案需多个模型在放大视图上采样作答并达到逐模型正确率阈值才保留;无图盲答时若所有模型都答对则整题丢弃,多选题的干扰项则来自图像内其他实例、盲猜答案和整图误答三类来源。

同一批数据还能直接当训练监督用,且提升不局限于细粒度感知。 在与 ZwZ 使用相同源图像、相同强化学习设置、各 9000 条样本的对照下,ZoomGain 训练的模型在全部 14 项基准上都优于 ZwZ 训练的对应模型。 Qwen3.5-9B 用 ZoomGain 数据训练后在 O3-Bench 上提升 11.01 分,13 项留出基准平均 66.10;Qwen3.5-4B 版本平均 63.96,超过 Qwen3.5-122B-A10B 的 63.04。

启示与展望

已展示的范围是 1000 题、941 张图像的中英双语基准,题目分属性识别、计数和 OCR 三类,源图像取自 ZwZ 收集的高分辨率图像;训练侧结论限于 Qwen3.5-4B 与 Qwen3.5-9B 在 GRPO 强化学习、9000 条样本、与 ZwZ 同源图像同设置下的对照。

错误分析显示,28 个模型选错的选项中 71.7% 落在整图误答类干扰项上,高于随机选择下的 54.5%,作者据此认为这是当前视觉语言模型共有的弱点而非个别模型的问题;同时作者也指出最强的大模型在通用感知和困难感知推理任务上仍然领先,这些任务仍较依赖模型规模与推理能力。