智能体集群学会自适应注入:最强防御模型Gemini 4 Argon也只挡住66%攻击
核心概要
提示注入攻击在公开基准上接近饱和后,一种由多个智能体协作搜索攻击载荷的优化器重新把攻击成功率推高。研究构建了100个合成工具调用场景,攻击目标是与用户任务无关的随机工具调用;面对最强攻击者Gemini 4 Argon,最稳健的防御模型Gemini 4 Argon在完整查询预算下只抵抗66%的攻击,限制到150次查询时为87%。
深度剖析
提示注入并未随公开基准饱和而解决:一个能力更强的自动化攻击者仍能让前沿模型在工具输出中执行第三方指令。 此前的静态攻击载荷在2025年中期已对当时的前沿模型失效,人类红队竞赛GraySwan Arena到2026年秋季也接近饱和,而唯一可复现的开源自适应攻击Siren成功率很低。 在100个合成工具调用场景上,最强攻击者Gemini 4 Argon使最稳健的防御模型Gemini 4 Argon在完整预算下只抵抗66%的攻击,在150次查询预算下抵抗87%。
攻击者能力本身是攻击成败的主要驱动因素,同一防御模型换用更强的攻击者后抵抗率明显下降。 以Gemini Flash 3.6为攻击者时,各防御模型的平均抵抗率为42.1%;换成Gemini 4 Argon后平均抵抗率降到23.1%。 在攻击者能力递增的四档Gemini攻击者上评测同一组防御模型,Gemini 4 Argon作为防御者时,面对Flash 3.6、3.7、3.8攻击者均抵抗100%,面对4 Argon攻击者降至87%。
攻击搜索由一群并行工作的智能体完成,它们共享排行榜和白板笔记,而不是由单个模型反复改写载荷。 此前的LLM引导优化器依赖单个语言模型根据候选载荷和防御方轨迹迭代提出新候选。 每个智能体可调用评测、读取队内与全局排行榜、读写白板等工具,总评测调用次数在所有实验中设有上限,各队还被分配自然语言描述的优化策略。
在与可复现基线Prompt Siren的对比中,该攻击者在相同场景上找到更多成功注入。 Prompt Siren的mini-goat攻击在80个AgentDojo场景中只攻破2个,增加攻击轮数也未改善。 以GLM-5.3为攻击者、Gemini Flash 3.6为防御者,在80个AgentDojo场景中,该自适应优化器在25次防御方查询的预算内攻破6个。
启示与展望
评测在100个合成工具调用场景上进行,攻击目标是与用户任务无关的随机工具调用;Gemini模型在攻击者和防御者两种角色下都关闭了安全分类器和模型外提示注入防御,开放权重模型通过托管推理端点访问。与先前工作的对比只覆盖80个AgentDojo场景,攻击者为GLM-5.3、防御者为Gemini Flash 3.6。
作者指出,由于多数自适应攻击不公开代码或攻击模型,与先前工作的比较普遍困难,因此对比只用了Prompt Siren这一可复现基线。作者还表示,攻击者能力与其他网络安全能力(如ExploitBench衡量的漏洞利用能力)之间的关联只是观察到的负相关,进一步分析被列为未来工作。
