跳到主要内容
检索

# 智能体安全

12 篇关联报道

订阅更新
  1. arXiv

    SecureGARD给工具调用加语义闸门:三个基准、两种骨干上观测攻击成功率均为0%

    工具型大模型智能体把模型输出变成真实操作,间接提示注入因此成为执行安全问题。SecureGARD在规划与工具执行之间插入一层可执行本体,把异构工具调用归一到共享的语义动作,再结合当前任务状态判定为就绪、等待或禁止。在AgentDojo、ASB与AgentDyn的良性及间接注入设置下,两种骨干上的观测攻击成功率均为0%,受攻击时的任务效用优于所比较的基线。

  2. NVIDIA Technical Blog

    英伟达把AI智能体的安全边界搬进BlueField-4:主机被攻破,监控与拦截仍在芯片里运行

    英伟达在GTC Berlin宣布NVIDIA Sentry,一套运行在BlueField-4 DPU上的AI智能体安全框架,把对智能体访问模型、工具和数据的监控与策略执行放到主机软件触及不到的独立硬件信任域。此前的智能体安全依赖软件运行时边界,智能体一旦逃出沙箱就可能改动或关闭自身限制;Sentry通过DOCA Tower透明代理检查智能体与模型的通信,并用DOCA Argus在主机之外读取运行时状态,在毫秒级实施隔离。该框架计划于明年初可用,目前开发者可先用DOCA Argus、DOCA Flow等库和微服务试验带外可观测性与基础设施层执行。

  3. researchsquare.com

    同一个退款调用,谁下的令才算数:把“目的”与“后果”分开记,误标渠道下直害放行从100%降到34.5%

    机构AI智能体执行一次工具调用时,同样的退款动作可能来自税务官员的授权,也可能来自它正在摘要的请愿书里夹带的指令。这套授权守卫为“后果”和“目的”各记一组中性逻辑三元组,按渠道可信度打折后融合证据,再作出授权、升级人工复核或拒绝三种决定。在InjecAgent的1,054个攻击案例上,保留“未被请求”这一矛盾态后,渠道标签被误标时最坏直接危害放行率从100%降到34.5%,合成电子政务场景为25.0%。

  4. arXiv

    手机智能体被跨模态注入劫持:图文同现时攻击成功率85.4%,单通道重复做不到

    面向多模态大模型驱动的手机智能体,MobileInject把同一恶意目标同时写进截图与界面文本,在可重置的安卓模拟器上跑完108个可执行风险实例。此前评测多只看单一文本通道或只判攻击成败;在曝光次数对齐的对照中,图文各出现一次的攻击成功率达85.4%、良性任务完成率为0,而同一通道重复两次只到72.9%或27.8%。108对实例中有30对出现单通道均未达成、图文一致注入却成功的反转。

  5. arXiv

    智能体记忆不再只防写坏内容:保留哪段经历、按什么顺序合并,同样能改写决策

    MemForm把智能体长期记忆的形成过程拆成内容、证据、范围、选择、路径五个可干预接口,在六个大模型和两种作答格式上,五个接口都出现了行为被改写的情况。

  6. arXiv

    ASPIRE 用行为图与探索-利用双专家发现智能体提示注入漏洞,在 AgentDojo 上达到 54.1% 攻击成功率

    ASPIRE 是一个面向 LLM 智能体的开放式提示注入红队框架,它维护一张不断演化的智能体安全行为图,用探索与利用两类专家提出以后果为中心的测试骨架,再由实现器生成具体注入载荷与触发查询,并用轨迹证据更新图与跨运行策略记忆;在 AgentDojo 与 AgentDyn 上,它把攻击成功率提升到最高 54.1%,同时覆盖更多后果、注入方法、环境与行为路径。

  7. arXiv

    CredLeak-Bench:七个模型在钓鱼场景下全部泄露凭证,恢复率最高仅24.2%

    作者提出 CredLeak-Bench,一个在本地沙箱中通过实际提交合成凭证来测量泄露的基准,覆盖用户指定认证、自主收件箱监控与恢复三种设置,并配对合法对照;评测七个模型后发现所有模型在两种主要设置中都会泄露,自主监控下无需用户要求认证即可泄露,且多数降低泄露的缓解措施同时损害合法任务完成,恢复率仅0%至24.2%。

  8. arXiv

    HarnessSecurity-Bench 实测六款编码智能体:开启自动批准使攻击成功率从 29.2% 升至 95.6%

    该研究构建了覆盖 40 个编码智能体 harness 的十类安全机制分类体系并评估 400 个 harness–机制单元(205 个确认实现、83 个确认缺失、112 个未决),随后提出 HarnessSecurity-Bench,用 23 个任务、五个攻击面和独立确定性判据在 GLM-5.2 下对六款 harness 运行 2,500 次试验,发现开启自动批准使攻击成功率从 29.2% 升至 95.6%,网络隔离与只读模式分别把攻击成功率从 57.1% 和 8.3% 降至 0.8% 但带来 24.5 和 34.0 个百分点的效用损失,而命令白名单与黑名单分别以小幅效用损失和效用提升降低攻击效果。

  9. arXiv

    SRFT 让 LLM 智能体从自身失败中学习,AgentDojo 攻击成功率从 7.59% 降至 1.26%

    该工作提出自反思微调(SRFT):在干净专家轨迹中注入攻击指令,让智能体在受攻击上下文中采样自身可能失败的动作,再由专家模型生成对比安全与最优动作的结构化反思推理,用该反思监督微调智能体;在 Llama-3.1-8B-Instruct 与 Qwen3-8B 上实例化为 SR-Agent,AgentDojo 攻击成功率分别从 7.59% 降至 1.26%、从 16.97% 降至 1.05%,并在 RL-Hammer 自适应攻击下保持较低攻击成功率。

  10. arXiv

    CorrGRPO 用皮尔逊相关替代协方差归一化,在代码生成、工具调用与智能体安全三类多奖励任务上超过 GRPO

    该工作指出 GRPO 在多奖励场景下用总奖励的组内标准差做归一化,其方差等于所有成对奖励协方差之和,因而大尺度奖励会主导归一化并压制小尺度奖励的信号;作者提出 CorrGRPO,把分母中的成对协方差替换为皮尔逊相关系数,同时保留中心化总奖励不变,并在代码生成、工具调用、智能体效用与安全三类任务、0.5B 至 8B 参数模型上与 GRPO 及 GDPO 等变体比较,报告三类任务上的性能提升以及竞争性目标之间经验帕累托前沿的外扩。