网页代理看截图太贵：只留21%视觉词，延迟降三成、性能保住近八成
核心概要
网页图形界面代理靠截图定位按钮和链接，高分辨率截图与多轮历史会带来大量视觉词，推理开销随之上升。STP-GUI 把词选择改成查询引导、空间连贯的窗口级选择，用一个轻量选择器在主干模型冻结的情况下通过策略学习训练。在 Online-Mind2Web 上，保留21%的词时仍保住全量词性能的77.7%，推理延迟降低31%、FLOPs 降低57%；Android in the Wild 上的结果提示该方法可迁移到移动端界面。
深度剖析
网页图形界面代理的视觉词预算被压到原来的约五分之一，仍能完成大部分原本靠全量截图词完成的定位任务。 此前的词剪枝方法主要面向自然图像，按重要性分数逐个独立挑选词，容易把识别按钮、图标、超链接这类小界面元素所需的局部视觉结构打散。 在 Online-Mind2Web 上，保留21%的词时保住全量词性能的77.7%，同时推理延迟降低31%、FLOPs 降低57%。
词的选择不再只看单个词的重要性，而是先由指令条件打分，再在空间上成窗地整块取舍。 做法是查询引导的词剪枝：保留细粒度的指令条件词打分，同时做空间连贯的窗口级选择，使激进压缩下局部结构不被切碎。 承担选择的是一个轻量选择器，通过策略学习优化，视觉语言模型主干保持冻结；评测在 Online-Mind2Web 上进行，Android in the Wild 上的结果提示该方法可迁移到移动端图形界面环境。
启示与展望
报道覆盖的是摘要层面的信息：方法在 Online-Mind2Web 上以21%词保留率给出效率与性能的权衡数据，并在 Android in the Wild 上给出可迁移到移动端图形界面环境的提示。适合关注视觉语言模型推理成本与界面代理部署的研究人员和工程师阅读。摘要未提出下一步实验计划。
摘要只给出低词预算下的结果，未说明更高词保留率或其他预算档位下的表现；迁移结论以 Android in the Wild 上的结果作为提示，而非完整验证。本报道基于摘要，未核对全文细节。