图形界面智能体的安全风险可能不在屏幕上，而在产生这张屏幕的转场里：同一张凭证页既可能是点击“登录”后的正常结果，也可能是点击“查看订单”后的劫持结果。LGWM 不渲染下一屏，而是直接在观测编码空间预测下一屏的表示，把校验变成一次向量比较；在每对凭证页像素完全相同的 RSWT-Bench 上，免训练的一致性分数达到 0.987 AUC，单次判定 17 毫秒，与最强闭源视觉语言模型同档，并比生成式 GUI 世界模型高约十个 AUC 点。
GUI智能体的世界模型不再逐像素重建下一屏，而是让共享潜表示同时承担动作打分与动作条件未来预测，在离线与在线基准上成功率最高相对提升31.9%和40.6%，世界模型推理延迟最多降低98.9%。
该研究用LoRA微调Qwen2-VL-2B在Android in the Wild上比较五种向小型GUI定位模型提供动作类型的方式，在匹配数据、算力与解码条件下发现辅助损失、加性嵌入和提示词各使hit@0.10提升五到七点，但重训去除序列化造成的退化类别后无机制在命中率上超过基线，仅辅助损失缩短平均误差。
AutoGUIWorld 提出一个数据生成框架，把图像生成器的视觉先验与规划器的任务知识结合，在不部署或运行对应软件环境的情况下合成 GUI 交互轨迹：它从操作系统上下文、视觉外观与界面状态的结构化规格中采样初始界面，据此生成任务，由规划器给出原子动作及其预期视觉后果，再由图像生成器迭代编辑当前截图产生后续观测，经动作定位与转移级质量过滤后得到跨 Ubuntu、Windows、macOS 与 Chrome 的 79,266 条带空间标注的步级训练样本，用其微调 Qwen3.5-35B-A3B 后 OSWorld 平均任务分从 33.0% 提升到 40.8%，ScienceBoard 任务成功率从 14.0% 提升到 32.2%。
已读完全部报道