VHOP-Router 把多步视觉检索交给嵌入模型，检索性能从不足 5% 提升到 76.3%
相关研究与后续进展
核心概要
作者提出 VHOP 数据生成框架与五级难度基准，并据此训练端到端管线 VHOP-Router，将标准嵌入模型变为在视觉潜空间中自回归执行多步检索的工具，单次调用即可取回链接图像链；实验显示检索性能从不足 5% 提升到 76.3%，智能体搜索任务成功率提升 52.7%，平均 token 长度从 1886 降至 728（减少 61%），相比每步取前 50 条结果的强基线，上下文图像减少 23 倍、累计 API 负载减少 35 倍，并能泛化到未见难度与真实测试集。
Figure 1 : Task performance and upgrade gains. Agent denotes Gemini 3.5 Flash. (a) Success rate versus generated tokens plus retrieval hops. Standalone Qwen3 uses five greedy retrieval steps. (b) Gains over Agent + Qwen3 from upgrading the agent model to Gemini 3.1 Pro or replacing the retrieval tool with VHop-Router , keeping the other component fixed.
arXiv深度剖析
提出 VHOP：一个灵活的数据生成框架与基准，包含五个核心难度等级，同时考察视觉匹配与搜索规划能力。 此前视觉智能体搜索缺少系统化、可控难度的评测手段，VHOP 把难度分层与两类能力（匹配、规划）纳入同一框架。 摘要说明该框架用于系统研究，并据此训练出 VHOP-Router，说明框架可实际生成训练与评测数据。
提出 VHOP-Router：结合监督微调、在线模仿学习与强化学习的端到端训练管线，把标准嵌入模型转化为自回归多步检索器。 与需要智能体在每一步发出文本查询的现有流程不同，该模型直接在视觉潜空间中工作，单次工具调用即可取回链接图像链，无需中间文本查询。 摘要明确列出三种训练阶段与“单次工具调用”“视觉潜空间”的运行方式，并称其保持原生 LLM 能力完全不受影响。
检索与智能体搜索效果：检索性能从不足 5% 提升到 76.3%；任务成功率提升 52.7%；平均 token 长度从 1886 降至 728，减少 61%。 摘要指出单纯升级智能体只带来 3.7% 增益，说明瓶颈在检索工具而非智能体本身，把多步导航下放给检索工具可带来更大收益。 摘要给出具体百分比与 token 数值对比，并设有“升级智能体”的对照条件。
效率与泛化：相比每步取前 50 条结果的强基线，在保持更优性能的同时上下文图像减少 23 倍、累计 API 负载减少 35 倍，并对未见难度等级与真实测试集稳健泛化。 把效率（上下文规模、API 负载）与泛化一并作为评估维度，而不只是检索准确率。 摘要给出倍数级对比与泛化陈述，但未在摘要中给出具体测试集名称或样本规模。
启示与展望
该工作面向需要多步视觉证据链的智能体检索场景：当视觉线索难以用文字描述、或单步检索器无法在前列结果中给出必要中间证据时，把多步导航交给检索工具本身。摘要称其适用于视觉智能体搜索，并保持原生 LLM 能力完全不受影响，因此可直接嵌入现有智能体流程而不改动模型本体。对构建检索工具、评测视觉搜索规划的研究者与工程团队，VHOP 提供可生成五级难度数据的框架，VHOP-Router 提供端到端训练路径。
摘要未给出 VHOP 各难度等级的数据规模、VHOP-Router 的模型规模与训练成本、成功率提升的统计显著性，也未列出“真实测试集”的具体来源与构成；23 倍与 35 倍的效率对比基于每步取前 50 条的基线设定，换用其他基线时结论是否保持尚待正文说明。此外，摘要称泛化到未见难度等级，但未报告各难度上的分项表现，读者若要判断难度曲线上的稳定性，需要查阅正文表格。