跳到主要内容
返回时间线
arXiv来源发表:

智能体安全改看“部署目的”:四类判定宏F1从45%升到79%,越界请求F1从8%升到76%

核心概要

现有智能体防护主要识别提示注入、有害输出或可疑行为,却难以判断一次操作是否仍符合该智能体被部署的用途。Intent-Aware Security 把组织、角色与开发者意图抽取成每个智能体专属的 Intent Profile,作为安全判定的参照对象,并据此实现执行前检测、执行后检测、输入对齐与系统提示加固四种防护。在 887 条样本、35 个智能体配置的基准上,基于 Intent Profile 的执行前检测把四类宏 F1 从原始上下文的 45% 提升到 79%,越界类 F1 从 8% 提升到 76%。

Source-provided article image: Intent-Aware Protection for AI Agents
arXiv

深度剖析

智能体安全判定多了一个参照对象:不再只问一次交互像不像攻击,而是问它是否符合该智能体被部署的目的与操作边界。 此前的防护针对提示注入、有害输出、数据泄露或越权工具调用,判定依据是当前请求、指令通道或权限,缺少对智能体部署用途的持续表示。 在 887 条经校验样本、覆盖 35 个智能体配置的基准上,四类分类的宏 F1 从仅给原始上下文的 45% 升到 79%,其中越界类 F1 从 8% 升到 76%;按智能体聚类的配对自助重采样给出这一 34 个百分点提升的 95% 置信区间为 29.5 至 39.0 个百分点。

同一份意图表示可以插在智能体流程的不同位置,分别用于执行前判定、执行后判定、输入改写和系统提示加固。 Intent Profile 由组织意图、角色意图和开发者意图抽取而来,被结构化为使命、允许的任务与工作流、工具使用约束、数据边界和禁止行为五个维度,并在各防护条件之间保持不变。 在 AgentDojo v1.2.2 上执行并取得 10,536 条可用轨迹,其中 2,480 条为攻击成功、7,959 条为攻击失败,真值来自环境状态;基于 Intent Profile 的执行后检测 AUROC 为 0.949,高于 AlignmentCheck 的 0.909、原始智能体配置的 0.897 和不带上下文的 0.843。

输入对齐这一环把越界与滥用类请求更多地挡在智能体之外,同时基本保住正常请求的完成率。 DataFilter 以单条用户指令为参照清洗外部内容,而基于 Intent Profile 的对齐以智能体持续的目的与边界为参照,可解释、隔离、归一化、限制或直接阻断输入。 在模拟响应与独立评估器的协议下,基于 Intent Profile 的输入对齐总体保护成功率为 85%,比 DataFilter 的 78% 高 7 个百分点,越界类为 85% 对 67%、滥用类为 96% 对 90%,正常类为 91% 对 90%。

启示与展望

已展示的范围是:887 条合成基准样本上的四类分类与模拟防护效果,以及 AgentDojo v1.2.2 中四个工具型智能体、单一底层模型 GPT-4o 上的执行后检测;组织意图与角色意图在实验中以文本摘要表示,而非生产策略语料。

基准样本由大模型生成并由另一个大模型校验,作者以生成前固定标签、生成与校验用不同模型、人工复核 100 条中 98% 标注正确来缓解;模拟防护测的是模拟响应而非真实执行,评估器与人工复核一致率为 95%;AgentDojo 只覆盖四个智能体、单一模型和 97 条正常轨迹,且只含间接提示注入,越界与滥用类仅在本方合成基准上评估;实验依赖闭源权重模型,可能限制精确复现。