多步智能体安全不再逐步各管一段:TAS用共享预算压住尾部风险,平均攻击成功率降到45.15%
核心概要
多步LLM智能体的风险会沿工作流传播,而逐步独立校验看不到这种传播。TAS把工作流安全状态建成马尔可夫决策过程,用谱风险度量刻画罕见但代价高的尾部风险,并以一个跨步骤共享的预算约束每一步决策。在Agent Security Bench上,TAS在直接与间接提示注入下的平均攻击成功率分别为45.15%和29.73%,低于所比较的十一种防御基线。
深度剖析
多步LLM智能体的安全防护从逐步独立校验改为沿整条工作流追踪风险传播,并用一个共享预算约束尾部风险。 此前的提示工程与后训练对齐主要提升LLM单步生成的安全性,外部校验类防御则对每一步单独检查,忽略步骤之间的风险传播。 在Agent Security Bench上,TAS在直接提示注入与间接提示注入下的平均攻击成功率分别为45.15%和29.73%,低于无防御与所比较的十一种防御基线。
做法是把智能体工作流的安全状态当作一串相互依赖的状态,每一步的动作与输出都以当前安全状态为条件。 TAS用马尔可夫决策过程建模这一序列,使风险传播可被追踪,而不是把各步当作彼此独立的检查点。 在Llama3-70B、Qwen2-72B、GPT-4o与GPT-5.2四个骨干上,去掉MDP建模后直接提示注入下的攻击成功率由43.50%升至50.75%(Llama3-70B),间接提示注入下由13.95%升至18.50%。
风险度量改为对高代价尾部加权,而不是只看整体平均代价。 平均型度量会被大量低代价的正常步骤稀释,从而掩盖小概率但高代价的失败。 把尾部敏感度量换成整体平均后,Llama3-70B在直接提示注入下的攻击成功率由43.50%升至69.75%,间接提示注入下由13.95%升至22.25%。
每一步的决策受一个跨步骤共享的安全预算约束,预算不足时回滚并重采样替代动作。 逐步独立阈值无法追踪整条工作流累积的风险,前一步的高风险会消耗后续步骤可用的预算。 去掉共享预算约束后,Llama3-70B在直接提示注入下的攻击成功率由43.50%升至87.75%,是消融中安全退化最大的一项。
启示与展望
评估覆盖Agent Security Bench、Agent-SafetyBench与AgentDojo三个基准,主实验使用Llama3-70B、Qwen2-72B、GPT-4o与GPT-5.2四个骨干,较小的Llama3-8B与Qwen2-7B结果放在补充材料中。方法面向安全关键、以降低高风险行为为优先的多步智能体工作流。
每步安全代价由规则评分与LLM评分器共同给出,评分器若有偏差会影响风险估计的准确性;TAS仍可能轻微损失正常任务效用,并因采样估计带来额外计算开销,对效用或时延要求严格的用户需要仔细调节安全相关超参数。
