跳到主要内容
返回时间线
arXiv来源发表:

智能体策略不再只靠提示词:AgentPolicyForge 训练策略守卫,攻击成功率相对降 40–44%

核心概要

把工具、资源和执行条件写进任务智能体的提示词,并不能可靠阻止违规调用。AgentPolicyForge 用可执行环境构造策略基准并迭代训练策略守卫,据此建成覆盖十类策略、含 698 个训练场景与 254 个独立留出场景的 PolicyGym。在 PolicyGym 上,最终守卫配置相对仅用策略提示把攻击成功率相对降低 40–44%,同时良性拒绝更少。

Source-provided article image: AgentPolicyForge: From Executable Environments to Policy Benchmarks and Adaptive Guards
arXiv

深度剖析

定制化智能体部署会针对工具、资源和执行条件定义策略,而把这些策略写进任务智能体的提示词并不能可靠阻止违规。 此前的做法是把策略放进任务智能体的提示词里,靠智能体自我约束来遵守。 在 PolicyGym 上,最终基于守卫的配置相对仅用策略提示,攻击成功率取得 40–44% 的相对下降,且良性拒绝更少。

这套做法把策略遵守变成可训练的判断:守卫根据工具调用的实际执行结果判断其是否合规。 训练守卫需要合规与违规的工具调用样例,AgentPolicyForge 用可执行环境来生成这些样例。 PolicyGym 覆盖十类策略,698 个场景用于生成训练数据,254 个独立留出场景构成经人工复核的测试集;每个违规案例都使用被允许的工具,因此必须检查参数、资源和上下文,而不能只看工具身份。

守卫的训练是迭代的:攻击方用检索到的策略生成请求,守卫在平衡且经环境验证的样例上微调。 即使策略档案固定不变,训练也能提升策略执行效果;继续更新档案则比保持固定进一步降低域内攻击成功率。 这一比较是在 PolicyGym 的域内攻击成功率上做出的,对照对象是保持档案固定。

启示与展望

已展示的范围是 PolicyGym 上的十类策略、698 个训练场景与 254 个人工复核的留出场景,比较对象是仅用策略提示的任务智能体自我约束。

材料只说明更新策略档案比保持固定能进一步降低域内攻击成功率,未给出域外表现;攻击成功率的下降以相对值报告,且来自摘要级信息。