UI-UG 2 是一个 4B 参数的多模态大模型，把手机界面的理解与生成放进同一套训练流程。它用对齐前端组件语义的 80 类两级分类体系标注来自 RICO、VINS、Android in the Wild 和 Android Control 的 3 万余张截图，并配合 5000 余条需求—截图—JSON 三元组。生成端改为在线渲染感知的 GRPO：采样出的 DSL 先由 Playwright 服务端渲染，再用 LLM 评判与对比偏好排序打分。在自建的 80 类基准上，它的指代与稠密定位结果在受评模型中最好，生成综合分 4.92 为对比模型最高。
该研究用LoRA微调Qwen2-VL-2B在Android in the Wild上比较五种向小型GUI定位模型提供动作类型的方式，在匹配数据、算力与解码条件下发现辅助损失、加性嵌入和提示词各使hit@0.10提升五到七点，但重训去除序列化造成的退化类别后无机制在命中率上超过基线，仅辅助损失缩短平均误差。
该工作提出 ReLaViS，把 GUI 定位表述为单次模型交互内的循环隐式视觉搜索：每步由空间搜索头用隐藏状态查询截图的视觉 token 生成空间搜索分布，再据此聚合视觉 token 得到隐式视觉证据并回灌为下一步输入嵌入，同时用扁平元素标注构造 GUI 感知的由粗到细轨迹进行监督；基于 Qwen2.5-VL-7B，它在五个基准上均优于匹配的单步基线，ScreenSpot-Pro 准确率从 53.2% 提升到 56.3%，推理 FLOPs 仅增加 3.5%。
MintAct 提出 2B、4B、8B 三档视觉语言模型家族，用共享的截图观测与像素坐标空间、按域提示词切换的动作集、以及跨域均衡混合，把 UI 定位、移动端/桌面/网页多步导航和视觉工具调用统一到同一套权重中，并配套可承载数百并发实例的异步强化学习基础设施，在 OSWorld-Verified 上达到 48.9、Online-Mind2Web 上 39.1、AndroidWorld 上 67.0，与同规模单域专家模型相当或更优。
已读完全部报道