网页代理看截图太贵:只留21%视觉词,延迟降三成、性能保住近八成
网页图形界面代理靠截图定位按钮和链接,高分辨率截图与多轮历史会带来大量视觉词,推理开销随之上升。STP-GUI 把词选择改成查询引导、空间连贯的窗口级选择,用一个轻量选择器在主干模型冻结的情况下通过策略学习训练。在 Online-Mind2Web 上,保留21%的词时仍保住全量词性能的77.7%,推理延迟降低31%、FLOPs 降低57%;Android in the Wild 上的结果提示该方法可迁移到移动端界面。
网页图形界面代理靠截图定位按钮和链接,高分辨率截图与多轮历史会带来大量视觉词,推理开销随之上升。STP-GUI 把词选择改成查询引导、空间连贯的窗口级选择,用一个轻量选择器在主干模型冻结的情况下通过策略学习训练。在 Online-Mind2Web 上,保留21%的词时仍保住全量词性能的77.7%,推理延迟降低31%、FLOPs 降低57%;Android in the Wild 上的结果提示该方法可迁移到移动端界面。
已读完全部报道