视觉定位不再逐字生成坐标：0.8B模型一次前向出框，延迟65.97毫秒
核心概要
视觉定位模型Jag把边界框预测从逐坐标生成改成一次前向直接回归。此前的多模态模型需要自回归生成坐标文本再解析成框，顺序解码在图像-文本处理之外增加开销。Jag在Qwen3.5-0.8B上用一个轻量回归头读取最后一个有效输入token状态，一次输出四个连续坐标，并用L1与GIoU损失联合调整语言主干、视觉合并器和回归头。在RefCOCO、RefCOCO+、RefCOCOg上，它相对基座模型每个测试划分都提升，单请求平均延迟65.97毫秒。
深度剖析
视觉定位的边界框可以不再由模型逐字生成坐标文本，而是从已有的多模态输入状态直接回归出四个连续数值。 此前的多模态模型把框写成坐标序列，需要顺序解码再把文本解析成框，这些步骤叠加在定位所需的图像-文本处理之上。 在RefCOCO、RefCOCO+、RefCOCOg的官方测试划分上，Jag相对未做定位微调的基座模型在每个划分都提升，提升幅度为9.63到17.51个准确率点。
预测框的回归头读取的是最后一个有效输入token的隐藏状态，该位置排在全部视觉与文本输入之后，因此框的预测复用了同一次多模态计算。 已有的连续框回归方案从生成的触发token状态读取，Jag改为读取现成的输入状态，不额外生成触发词。 回归头由层归一化、带GELU的隐藏投影和四维输出投影组成，四个坐标同时输出，训练用L1损失监督归一化中心与尺寸，用GIoU损失监督框的重叠与包含关系。
几何监督不只训练回归头，还联合调整语言主干、视觉合并器和回归头，使定位损失同时塑造多模态表示与坐标映射。 只把回归头拟合到冻结特征会把适配限制在坐标映射上，组件消融显示这种做法的准确率远低于联合调整。 在共享训练子集上，联合更新语言主干、视觉合并器和回归头，相对只训练回归头，在每个数据集上把Acc@0.5提高超过60个点。
直接预测在标准重叠阈值下保持接近自回归模型的准确率，同时把单请求推理时间大幅缩短。 自回归模型需要顺序生成坐标token，Jag在完整多模态前向后直接返回四个坐标，不做坐标生成或文本解析。 单请求平均端到端延迟为65.97毫秒，比基座模型快19.60倍，比NExT-Chat快1.82倍，比LocateAnything快3.62倍，比Hi-Token快9.35倍；峰值进程显存2.52GiB。
启示与展望
报告的范围是静态图像中的单目标定位，评估使用RefCOCO、RefCOCO+、RefCOCOg的官方训练与测试划分，共30,969条测试表达式。延迟与显存数字来自单张NVIDIA A100-PCIE-40GB上的端到端测量，包含图像打开、预处理、主机与设备间传输、模型执行和输出解析。材料指出，推理效率取决于输入分辨率、表达式长度、硬件和部署设置，不同输入分布或服务配置下的应用应自行测量准确率与延迟。
在更严格的重叠阈值上，自回归模型在三个数据集上都更准，说明精确框放置的差距大于Acc@0.5上的差距。多随机种子比较中自回归模型的平均准确率更高，RefCOCOg上的配对区间偏向自回归。材料还指出，扩展到多目标、视频或分割需要针对任务的设计与评估，专用领域的应用应在有代表性的数据上评估性能。