同一张登录页，合法与劫持各占一半：LGWM 只看转场，17 毫秒判出异常
核心概要
图形界面智能体的安全风险可能不在屏幕上，而在产生这张屏幕的转场里：同一张凭证页既可能是点击“登录”后的正常结果，也可能是点击“查看订单”后的劫持结果。LGWM 不渲染下一屏，而是直接在观测编码空间预测下一屏的表示，把校验变成一次向量比较；在每对凭证页像素完全相同的 RSWT-Bench 上，免训练的一致性分数达到 0.987 AUC，单次判定 17 毫秒，与最强闭源视觉语言模型同档，并比生成式 GUI 世界模型高约十个 AUC 点。
深度剖析
图形界面智能体的安全检查从“看屏幕”转向“看转场”：同一张凭证请求页在点击“登录”后出现是预期结果，在点击“查看订单”后出现则是攻击，屏幕上没有任何像素能区分两者。 此前面向图形界面的世界模型把预测输出为文本、截图或可执行代码，要与实际观测比对就得再引入一个模型做判断，而该判断模型本身也需要被信任。 RSWT-Bench 把每张凭证页同时作为某条合法转场的真实结果和另一条转场的劫持结果，像素完全相同而标签相反，因此任何只看结果屏幕的检测器期望 AUC 恰为 0.5。
LGWM 把下一屏的预测放在观测编码器所用的同一表示空间里，于是“实际结果是否符合预期”退化为预测向量与观测向量之间的一次余弦比较，不需要解码器，也不需要裁判模型。 它沿用联合嵌入预测架构，但把预测表示从训练时的辅助目标变成测试时的产品；动作侧把点击坐标与视觉图块放进同一套二维正弦位置基，使“点在哪里”进入预测。 模型在来自五个公开来源的 185 万条真实图形界面转场上自监督预训练，训练图 261M 参数，推理时执行 172.86M 参数；免训练的一致性分数在 RSWT-Bench 上达到 0.987 AUC，222 对中有 219 对排序正确。
预测与观测之差的残差是一个向量，其大小回答“转场是否偏离预期”，其方向回答“偏离成了什么”，后者用一个线性头把有害违规与无害违规分开。 推送通知、加载动画或服务端布局变化同样偏离预期却不伤害用户，因此仅凭偏离幅度无法支撑可部署的监控。 在劫持转场与无害错配之间的 Harm AUC 上，免训练的一致性分数只有 0.513，受提示的视觉语言模型在 0.512 到 0.614 之间，而读取残差方向的线性头达到 0.953；反向地，在错误转场检测上一致性分数更强，为 0.987 对 0.930。
启示与展望
已展示的范围是图形界面智能体的转场校验：在 RSWT-Bench 的 222 对供体配对凭证页上评估，训练数据为五个公开来源的 185 万条真实转场，延迟在单张 A100-80GB、批大小为一时测得。作者提出，延迟低到可以在智能体轨迹的每一步运行这道闸门，只在被标记的少数步骤上调用渲染器或视觉语言模型裁判。
作者指出，分数本身并不针对攻击：同一残差也会标记漏掉的动作、布局变化或意外弹窗。作者还说明，基于预期的监控要求攻击者在智能体自身的表示空间中伪造结果，这一目标的难度尚未量化；消融实验在较小规模上单种子运行，另有三种子复现确认跨种子方差较小。