GUI智能体不再重建未来屏幕：把预测搬进潜空间，成功率最高提升四成、延迟降98.9%
核心概要
GUI智能体的世界模型不再逐像素重建下一屏，而是让共享潜表示同时承担动作打分与动作条件未来预测，在离线与在线基准上成功率最高相对提升31.9%和40.6%，世界模型推理延迟最多降低98.9%。
深度剖析
GUI智能体的世界模型把预测目标从整屏重建换成潜空间里的动作诱发未来信息，动作选择因此不再依赖先渲染再重感知的两段式流程。 此前的像素空间世界模型先为每个候选动作生成下一屏截图或可渲染HTML，再交给单独的评分模型重新感知，这一中间步骤带来高计算延迟，并要求重建动作选择并不需要的全部外观细节。 在离线AndroidControl与AITZ、在线AndroidWorld以及分布外GUI-Odyssey上，该方法相对像素空间世界模型的成功率最高相对提升31.9%和40.6%，世界模型推理延迟最多降低98.9%。
共享的潜表示同时服务两个目标：一个动作头把候选动作映射成分数，一个转移头预测被选动作会带来怎样的未来状态。 做法是用LoRA适配的大多模态模型编码目标、当前截图、历史与候选动作，动作头以交叉熵对齐标注动作，转移头在训练时对齐真实下一屏的嵌入，推理时被丢弃。 训练在AndroidControl与AITZ上进行，使用Qwen3-VL-8B-Instruct、LoRA秩16、3个候选动作、6步历史，单张A6000上训练8小时。
为压住只保留当前屏幕的恒等捷径，转移表示被要求与当前状态和无关转移的嵌入拉开距离。 仅做逐点匹配时，预测可能贴近当前屏而非动作诱发的改变；像素空间世界模型在转移幅度增大时这种捷径更明显，下游成功率也随之下降。 动作感知对比目标以真实下一状态为正样本、当前状态与先进先出记忆库中的其他转移为负样本，消融显示加入对比后在线成功率再提升若干点。
启示与展望
该工作面向移动GUI智能体的动作选择，在离线AndroidControl与AITZ、在线AndroidWorld以及分布外GUI-Odyssey上评估，覆盖GPT-5.6、Gemini-3.6-Flash、GUI-Owl-7B、Qwen3-VL-8B与Qwen3-VL-32B等骨干。模型只对冻结基础智能体提出的候选动作重新排序，不生成新动作，且仅在置信度门控判定为低置信度时被调用。作者提出可扩展候选覆盖、用学习式不确定性感知调用策略替代固定阈值，并把单步潜转移扩展到多步潜动力学。
作者指出，当正确动作不在候选集中时模型无法恢复，性能受基础智能体候选质量与覆盖范围限制；高置信度下基础智能体的错误会绕过潜世界模型评估，完成或放弃等终止决策在当前协议中不被重新打分；转移目标只建模即时动作条件下一状态，不显式推理更长时程后果，也不提供可解释的未来状态重建。