跳到主要内容
返回时间线
arXiv来源发表:

同一条越权提示重复15次:A2A子智能体5次里3次交出密钥,多智能体结构不自动设防

导语

在A2A多智能体层级中,把同一条越权提示重复最多15次,就能让持有密钥的子智能体在5次试验中3次泄露秘密,说明多智能体结构本身并不自动阻断提示注入。

AI-generated editorial illustration: An Exploration of Attacks on AI Agent Systems

正文

单智能体与多智能体系统都可能被提示注入攻破,攻击面从用户直接输入延伸到智能体之间的通信。 此前的工作主要关注单智能体环境下的恶意提示,多智能体场景下的影响得到的关注较少。 在LangChain单智能体上,格式注入在打印机提示测试中成功率100%、在海盗提示测试中为0%;在A2A层级中,重复提示的试验1.5达到60%成功与60%部分成功。

攻击通过伪装成正常指令的文本进入模型,模型难以区分预设指令与用户输入,从而泄露系统提示、绕过受限话题或读取敏感文件。 这类攻击不依赖破解模型权重,而是利用模型用自然语言处理同时消化指令与输入这一点。 在PALChain智能体上,被分类器判为SAFE的查询3在5次试验中有80%成功读出/app/.env文件;网页攻击中无防护时行为劫持成功率90%、角色劫持98%。

智能体选择本身也可被操纵,名称与描述会左右编排模型挑选哪个智能体。 A2A协议没有中心编排器,也没有验证系统,因此单个弱点可以在网络中传播。 在106个订票任务上,两个模型96.70%偏好较短名称,平均89.6%偏好较长描述,正面情感描述被选中的比例为98.15%与97.65%。

接下来

报告覆盖的是单智能体与多智能体两类系统的提示注入测试,读者对象是构建或评估智能体系统的研究人员与工程师。实验在本地、小规模环境中进行,涉及LangChain、AutoGen与A2A协议下的若干配置。材料提出,后续工作应在层级更深、工具访问更广、更接近真实的多智能体树中继续考察提示注入。

材料指出实验限于小规模本地设置,真实A2A系统往往有更复杂的层级与更多工具,可能扩大攻击面。过滤层并未降低智能体对直接提示注入的易感性,只是拦截了它认为违规的回复。智能体有时会编造关于密钥或其指令的虚假信息,这一行为的机制尚待研究。

来源