跳到主要内容
返回时间线
arXiv来源发表:

个人智能体的跨服务风险有了新查法:从工具依赖图采样,平均有害路径率19.2%

核心概要

红队框架X-AgentRed不再让大模型凭训练记忆猜工具组合,而是从工具依赖图采样跨服务路径,在30个服务、914个工具的模拟生态里对四个前沿智能体把平均有害路径率做到19.2%,高于STAC的10.5%和TRACE的2.7%。

AI-generated editorial illustration: X-AgentRed: Red-Teaming Personal Agents in Evolving Multi-Service Ecosystems

深度剖析

个人智能体在多个服务之间调用工具时,单个看似无害的请求可能因为动作效果跨服务累积而产生有害结果,X-AgentRed把这类跨服务路径的发现从依赖大模型生成改成从工具依赖图采样。 此前的红队方法要么提示大模型从任务和环境描述里提出工具序列,要么把人类或大模型指定的有害目标拆成看似无害的动作组合,生成偏向训练中学过的模式,容易集中在常见工具组合上。 在30个服务、914个工具的模拟生态中,对GPT-5.6 Sol、GLM-5.2、DeepSeek-V4-Pro和Claude Opus 4.8四个目标智能体,X-AgentRed的平均有害路径率为19.2%,STAC为10.5%,TRACE为2.7%。

框架先给每个工具标注效果、潜在危害和执行前置条件,再把这些属性连成一张有向图,让一个工具的效果去满足另一个工具的前置条件。 采样用反向随机游走,从与目标危害相关的工具出发沿入边回溯,把路径反过来得到候选配方,再实例化成带良性用户请求的真实场景。 执行反馈驱动两类更新:产生危害的路径通过替换非关键工具节点做多样化,被阻断的路径则细化受阻步骤的前置条件并重建前序步骤;作者人工检查了四个目标智能体上全部192条被判为有害的轨迹,未发现奖励作弊迹象。

启示与展望

该结果来自ToolSimulator模拟的多服务生态,包含30个服务和914个工具,工具响应由Claude Opus 4.8生成;四个目标智能体分别是GPT-5.6 Sol、GLM-5.2、DeepSeek-V4-Pro和Claude Opus 4.8,每个配置在固定生态中只评估一次。适合关注智能体安全与工具调用风险的读者,用于理解跨服务组合风险的发现方式。

作者指出,随着服务演进,维护HarmFlow图会带来额外计算开销,因为新增或修改的工具需要更新工具表示并重新评估受影响的依赖关系。评审敏感性分析显示,接受任一评审的判断相比要求两者一致会提高有害路径率,作者说明这些比较衡量的是敏感性而非评审准确度,主结果采用两者一致同意。