跳到主要内容
返回时间线
arXiv来源发表:

视觉定位不再逐字生成坐标:0.8B模型一次前向出框,单请求65.97毫秒

导语

视觉定位模型Jag把边界框改成一次前向直接回归,在RefCOCO、RefCOCO+、RefCOCOg上比未微调的Qwen3.5-0.8B高出9.63到17.51个准确率点,单请求延迟65.97毫秒。

Source-provided article image: Jag: Direct Box Prediction for Efficient Visual Grounding
Figure 1 · arXiv

正文

视觉定位的输出从逐坐标生成文本改为一次前向直接回归出框。 此前的多模态模型把边界框写成坐标序列,再解码并解析成框,顺序解码在图像-文本处理之外额外增加输出计算。 在RefCOCO、RefCOCO+、RefCOCOg的官方测试划分上,Jag相对未做任务微调的Qwen3.5-0.8B在每个划分都提升,增益为9.63到17.51个准确率点。

回归头读取最后一个有效输入token的隐状态,一次性输出四个连续坐标。 NExT-Chat从生成的触发token隐状态回归连续框,LocateAnything在框对齐的token块内并行预测离散坐标,Jag读取的是已有的输入状态,不生成触发token。 训练用L1损失监督归一化中心与尺寸,用GIoU损失监督框重叠,两阶段先只训回归头、再联合更新语言主干、视觉合并器和回归头;推理时一次多模态前向即返回框,无需坐标生成或文本解析。

接下来

这项工作面向静态图像中的单目标定位,用RefCOCO、RefCOCO+、RefCOCOg的指代表达基准评估,训练用了三个基准官方训练划分的321,327条指代表达、覆盖28,158张图像。推理效率的测量在单张NVIDIA A100-PCIE-40GB上完成,五个模型顺序处理同一批评估输入。扩展到多指代目标、视频或分割,需要针对任务重新设计和评估;在专门领域应用时,应在有代表性的数据上评估性能。

在更严格的IoU阈值0.75和0.9上,微调后的自回归模型在三个数据集上都更准,说明两者在精确框位置上的差距大于Acc@0.5所反映的差距。RefCOCOg上自回归模型的平均准确率更高,配对差区间也偏向它。推理效率依赖输入分辨率、表达长度、硬件和部署设置,报告中的加速比描述的是所测的端到端负载。

来源