4B 多模态模型同时读懂和生成手机界面：细粒度感知监督让生成分升到 4.92
核心概要
UI-UG 2 是一个 4B 参数的多模态大模型，把手机界面的理解与生成放进同一套训练流程。它用对齐前端组件语义的 80 类两级分类体系标注来自 RICO、VINS、Android in the Wild 和 Android Control 的 3 万余张截图，并配合 5000 余条需求—截图—JSON 三元组。生成端改为在线渲染感知的 GRPO：采样出的 DSL 先由 Playwright 服务端渲染，再用 LLM 评判与对比偏好排序打分。在自建的 80 类基准上，它的指代与稠密定位结果在受评模型中最好，生成综合分 4.92 为对比模型最高。
深度剖析
手机界面的理解与生成现在可以由一个 4B 参数的多模态大模型同时承担，覆盖指代、稠密定位、GUI 定位和结构化生成四类任务。 此前的统一模型 UI-UG 用 7B 骨干，标签未按前端组件语义组织，理解侧主要覆盖指代与稠密定位，生成优化依赖固定偏好数据集上的离线 DPO。 在自建的 80 类基准上，UI-UG 2-4B 的指代类别准确率为 0.906、稠密定位 F1 为 0.777，而对比中最强的通用模型 Gemini 3.1 Pro 分别为 0.535 和 0.471；生成综合分 4.92，高于 Claude Sonnet 4.5 的 4.70 与 GPT-5.2 的 4.33。
生成质量靠把模型输出真正渲染出来再打分来优化，而不是只在一份固定的偏好数据上学习。 离线偏好优化看到的是静态偏好样本，与推理时实际渲染出的界面之间存在差距。 每个采样出的 DSL 由 Playwright 服务端流水线在线渲染，再由 Qwen3-VL-235B-A22B 按颜色与美学、视觉结构与对齐、文本与内容一致性、界面可用性四个维度打分，并在同一 rollout 组内做对比偏好排序；生成综合分从 SFT 模型的 4.65 升到 4.92。
细粒度的界面感知监督会迁移到生成任务上，在固定训练预算下提高生成质量。 此前的迁移证据只是初步的，理解与生成长期沿各自的数据管线和评测协议发展。 在 12 万样本的固定 SFT 预算下，理解数据占比 20% 时生成分达到 4.760，高于纯生成数据的 4.668；理解指标则随理解数据比例单调上升，指代准确率从 0.789 升到 0.838，定位 F1 从 0.475 升到 0.690。
启示与展望
结果覆盖移动端界面：理解侧在自建 80 类语料上评测，GUI 定位在 ScreenSpot V1 与 V2 的移动端划分上评测，生成侧按 JSON 格式合规、渲染成功率和四个 MLLM 评分维度衡量。
生成奖励与报告分数共用四个视觉质量维度，针对该评分标准的优化可能高估标准之外的改进；人类参照研究只覆盖 100 例，且是事后进行，并非 GRPO 过程中的持续审计。注意力相似性只是相关性证据，不能单独确立迁移的因果机制；部分单独的理解奖励会拉低其他生成维度。