# 视觉定位

视觉语言模型常用的多模态旋转位置编码（MRoPE）给没有空间结构的文本也分配了高、宽坐标，使文本与图像块之间的注意力带上位置偏好。研究把图像内部的空间编码与跨模态空间效应分开控制，在官方预训练检查点上做免训练探测，并在2B、4B两个规模上从相同初始参数出发做控制训练。结果显示跨模态空间效应作为空间参照几乎没有额外收益，甚至可能损害性能，而图像内部的空间编码对细粒度定位仍然有用。

视觉语言模型常用的多模态旋转位置编码（MRoPE）给没有空间结构的文本也分配了高、宽坐标，使文本与图像块之间的注意力带上位置偏好。研究把图像内部的空间编码与跨模态空间效应分开控制，在官方预训练检查点上做免训练探测，并在2B、4B两个规模上从相同初始参数出发做控制训练。结果显示跨模态空间效应作为空间参照几乎没有额外收益，甚至可能损害性能，而图像内部的空间编码对细粒度定位仍然有用。

ARC-AGI-3 要求智能体在无指令的交互环境中用尽量少的动作通关，而把画面当作整数矩阵直接喂给推理模型会让它反复撞墙。Sarbloh 在主机端用无学习参数的代码算出可达性、包围、中点系连和二面体对称等几何事实，把角色判断留成带一次动作验证的猜测，并让智能体在 Python 内核里用 await play() 提交多步路径。在官方隐藏集上，它的得分从 0.27 的初始基线升到 16.53；原文把这一提升表述为相对首个 Milestone 冠军的 13.7 效率改进，而同一份表格给该冠军的分数是 1.21。

ARC-AGI-3 要求智能体在无指令的交互环境中用尽量少的动作通关，而把画面当作整数矩阵直接喂给推理模型会让它反复撞墙。Sarbloh 在主机端用无学习参数的代码算出可达性、包围、中点系连和二面体对称等几何事实，把角色判断留成带一次动作验证的猜测，并让智能体在 Python 内核里用 await play() 提交多步路径。在官方隐藏集上，它的得分从 0.27 的初始基线升到 16.53；原文把这一提升表述为相对首个 Milestone 冠军的 13.7 效率改进，而同一份表格给该冠军的分数是 1.21。

移动操作机器人接到“把玩具收进玩具箱”这类指令时，通常要先建一张与任务无关的语义地图，而这张图可能缺少指令所需的属性、可供性与概念。Feijoa 让语言模型智能体在指令到达后直接对已定位的 RGB-D 扫描发起查询，检查返回候选并反复改写查询，直到消解指令。在 103 条开放式指称查询上，Feijoa 的精确匹配率为 94.2%，高于最佳预建表示 TextMap 的 68.0%；在 Spot 上的 50 次真实试验中完成 35 项任务，其中 17 次成功发生在工具调用或校验失败后的恢复之后。

移动操作机器人接到“把玩具收进玩具箱”这类指令时，通常要先建一张与任务无关的语义地图，而这张图可能缺少指令所需的属性、可供性与概念。Feijoa 让语言模型智能体在指令到达后直接对已定位的 RGB-D 扫描发起查询，检查返回候选并反复改写查询，直到消解指令。在 103 条开放式指称查询上，Feijoa 的精确匹配率为 94.2%，高于最佳预建表示 TextMap 的 68.0%；在 Spot 上的 50 次真实试验中完成 35 项任务，其中 17 次成功发生在工具调用或校验失败后的恢复之后。

医学影像基础模型长期在“通用”与“像素级精确”之间取舍，且多数只输出结论、不交代依据。EVLF-FM 把疾病级与像素级两路视觉特征同时送入语言模型，先做监督微调，再用带可验证奖励的强化学习对齐推理与定位，覆盖皮肤科、肝病、眼科、病理、呼吸与放射六个专科、10 种成像模态。内部诊断验证中其平均准确率 0.895，为所比模型中最高；在 9 种模态的医学视觉定位上平均 Acc@0.5 为 0.842。

医学影像基础模型长期在“通用”与“像素级精确”之间取舍，且多数只输出结论、不交代依据。EVLF-FM 把疾病级与像素级两路视觉特征同时送入语言模型，先做监督微调，再用带可验证奖励的强化学习对齐推理与定位，覆盖皮肤科、肝病、眼科、病理、呼吸与放射六个专科、10 种成像模态。内部诊断验证中其平均准确率 0.895，为所比模型中最高；在 9 种模态的医学视觉定位上平均 Acc@0.5 为 0.842。

TiCO把“看图思考”中的坐标回归换成探针令牌在视觉词元上的相似度采样，在HR-Bench 4K上取得78.0%总体准确率，同时每查询只生成6.2个词元。

TiCO把“看图思考”中的坐标回归换成探针令牌在视觉词元上的相似度采样，在HR-Bench 4K上取得78.0%总体准确率，同时每查询只生成6.2个词元。

信息图要求一张图同时满足文字、数值、图表和版式等大量约束，而现有迭代修正方法存在尺度错配：局部编辑改不动整体构图，整图重画又会破坏已经正确的区域。Stride把约束判定与空间定位拆开，由主编辑智能体按错误尺度把修改分派给负责全局重画的composer或负责局部修字的retoucher，并且只在验证器分数严格提升时接受候选。在BizGenEval上，搭配开源Infographic-V2的Stride取得69.5分，高于Nano-Banana-2.0的68.5分和Seedream-5.0-Pro的65.7分。

信息图要求一张图同时满足文字、数值、图表和版式等大量约束，而现有迭代修正方法存在尺度错配：局部编辑改不动整体构图，整图重画又会破坏已经正确的区域。Stride把约束判定与空间定位拆开，由主编辑智能体按错误尺度把修改分派给负责全局重画的composer或负责局部修字的retoucher，并且只在验证器分数严格提升时接受候选。在BizGenEval上，搭配开源Infographic-V2的Stride取得69.5分，高于Nano-Banana-2.0的68.5分和Seedream-5.0-Pro的65.7分。

在五个视觉任务上，把带答案的示例放进上下文后，与训练先验冲突的反事实样本准确率大幅上升，而与先验一致的样本几乎不变，说明模型本就有这些视觉能力，只是被学到的统计规律压住了。

在五个视觉任务上，把带答案的示例放进上下文后，与训练先验冲突的反事实样本准确率大幅上升，而与先验一致的样本几乎不变，说明模型本就有这些视觉能力，只是被学到的统计规律压住了。

视觉定位模型Jag把边界框预测从逐坐标生成改成一次前向直接回归。此前的多模态模型需要自回归生成坐标文本再解析成框，顺序解码在图像-文本处理之外增加开销。Jag在Qwen3.5-0.8B上用一个轻量回归头读取最后一个有效输入token状态，一次输出四个连续坐标，并用L1与GIoU损失联合调整语言主干、视觉合并器和回归头。在RefCOCO、RefCOCO+、RefCOCOg上，它相对基座模型每个测试划分都提升，单请求平均延迟65.97毫秒。

视觉定位模型Jag把边界框预测从逐坐标生成改成一次前向直接回归。此前的多模态模型需要自回归生成坐标文本再解析成框，顺序解码在图像-文本处理之外增加开销。Jag在Qwen3.5-0.8B上用一个轻量回归头读取最后一个有效输入token状态，一次输出四个连续坐标，并用L1与GIoU损失联合调整语言主干、视觉合并器和回归头。在RefCOCO、RefCOCO+、RefCOCOg上，它相对基座模型每个测试划分都提升，单请求平均延迟65.97毫秒。

该工作重新审视视觉语言模型解码器中的视觉注意力汇，发现早期与末层解码器在不同提示下反复把注意力集中到同一批图像区域（称为提示无关汇 PIS），而中间层才随查询变化并承担视觉-语言对齐；据此提出免训练的 SAGE，用来自 CLIP、ViT、DINOv3 等标准视觉骨干的 token 对齐 ROI 掩码对视觉 token 注意力 logits 施加加性偏置，把注意力从 PIS 引向查询相关区域，在 LLaVA-1.5、Qwen2-VL、InternVL3、NVILA 等模型上改善视觉定位、降低幻觉并在多项公开基准上取得增益。

该工作重新审视视觉语言模型解码器中的视觉注意力汇，发现早期与末层解码器在不同提示下反复把注意力集中到同一批图像区域（称为提示无关汇 PIS），而中间层才随查询变化并承担视觉-语言对齐；据此提出免训练的 SAGE，用来自 CLIP、ViT、DINOv3 等标准视觉骨干的 token 对齐 ROI 掩码对视觉 token 注意力 logits 施加加性偏置，把注意力从 PIS 引向查询相关区域，在 LLaVA-1.5、Qwen2-VL、InternVL3、NVILA 等模型上改善视觉定位、降低幻觉并在多项公开基准上取得增益。

该工作提出空间隐推理（SLR），把指向手势的几何线索与目标区域外观组织成有序的连续隐状态：一个由指尖位置和指向方向监督的空间射线状态，后接四个与目标区域特征对齐的视觉状态，视觉目标用奇偶池化按行列奇偶把 ROI 词元分成四组取均值；在 EgoPoint-Ground 上相对同骨干监督微调，mIoU 在 Qwen3.5-4B、Qwen2.5-VL-7B、Qwen3-VL-8B 上分别提升 2.8、17.5、21.1 个百分点，两个困难子集均有提升，YouRefIt 上 IoU 0.5 精度达 77.6%。

该工作提出空间隐推理（SLR），把指向手势的几何线索与目标区域外观组织成有序的连续隐状态：一个由指尖位置和指向方向监督的空间射线状态，后接四个与目标区域特征对齐的视觉状态，视觉目标用奇偶池化按行列奇偶把 ROI 词元分成四组取均值；在 EgoPoint-Ground 上相对同骨干监督微调，mIoU 在 Qwen3.5-4B、Qwen2.5-VL-7B、Qwen3-VL-8B 上分别提升 2.8、17.5、21.1 个百分点，两个困难子集均有提升，YouRefIt 上 IoU 0.5 精度达 77.6%。