手机智能体被跨模态注入劫持：图文同现时攻击成功率85.4%，单通道重复做不到
核心概要
面向多模态大模型驱动的手机智能体，MobileInject把同一恶意目标同时写进截图与界面文本，在可重置的安卓模拟器上跑完108个可执行风险实例。此前评测多只看单一文本通道或只判攻击成败；在曝光次数对齐的对照中，图文各出现一次的攻击成功率达85.4%、良性任务完成率为0，而同一通道重复两次只到72.9%或27.8%。108对实例中有30对出现单通道均未达成、图文一致注入却成功的反转。
深度剖析
手机智能体的安全评测从单通道文本注入扩展到视觉与文本观察同时被污染的情形，并给出可执行、可重置、可核验终点的安卓评测环境。 此前的智能体注入评测多集中在桌面与网页场景，或只覆盖单一文本通道、单一注入载体，难以刻画手机智能体同时读取渲染界面与结构化界面信息时的风险。 评测环境覆盖11个应用场景、9类安全风险与108个可执行风险实例，每个实例配有可重置快照和分别判定良性、恶意完成状态的两个确定性判定器。
同一恶意指令在截图与界面文本中一致出现时，攻击效果超过任一单通道注入。 单通道注入只让恶意内容出现在视觉或文本一侧，而手机智能体在正常执行中会同时消费同一界面状态的渲染视图与结构化视图。 在曝光次数对齐的对照中，文本重复两次把攻击成功率从68.8%提到72.9%，视觉载荷重复仍为27.8%，图文各出现一次则达到85.4%且良性任务完成率为0；108对实例中有30对出现两种单通道均未达成、图文一致注入却成功的反转。
攻击先改写智能体写出的推理理由，再传导为实际动作，诊断因此从只看终点扩展到逐步轨迹。 以往评测多采用粗粒度的二值判定，只回答攻击是否成功，无法说明智能体是否察觉风险、推理何时开始跟随恶意目标、以及这种偏移是否进入执行动作。 在九个多模态大模型与两个智能体框架的组合上，平均推理劫持率为MobAgent下75.31%、M3A下80.86%，平均动作劫持率为70.78%与67.59%；GLM-4.5V在两个框架下推理劫持率与动作劫持率相同，分别为98.15%与99.07%。
启示与展望
评测在可重置的安卓模拟器中进行，实例围绕消息、联系人、邮件、社交发帖、笔记、文件管理、日历、模拟交易与消息转网页九类良性工作流构建，恶意目标限定为12个注册目标、9类后果。适用读者是研究手机智能体安全与多模态注入的团队，以及需要评估智能体框架风险边界的工程师。
108个实例复用工作流与目标结构，因此并非语义或统计独立，分析中对此作了说明。提示级防御的效果有限，SCoT把攻击成功率降低12.96个百分点，但其聚类区间跨零、经Holm校正后不显著，且被防御的运行仍可能未完成良性任务。重复运行的方差报告限于所展示的指标与采样重跑。