跳到主要内容
检索

# 智能体安全

14 篇关联报道

订阅更新
  1. NVIDIA Blog

    英伟达把智能体安全运行时交给韩国生态:OpenShell 接入 Starfort,K-EXAONE-2.5 开放 API

    英伟达把 OpenShell 作为开放智能体安全平台的核心组件提供,它是一个带沙箱执行和基于策略控制的运行时,用于保护敏感数据、管理企业工具访问并治理智能体的自主行动。韩国 AI 安全公司 AIM Intelligence 正把其 Starfort 智能体控制平台与 OpenShell 集成,目标是把运行时的访问控制与 Starfort 对恶意指令和数据泄漏的检测结合起来。模型一侧,LG AI Research 开放 K-EXAONE-2.5 的应用编程接口访问,该模型使用含 700 万条合成韩国人物画像的 Nemotron-Personas-Korea 数据集开发。

  2. arXiv

    多步智能体安全不再逐步各管一段:TAS用共享预算压住尾部风险,平均攻击成功率降到45.15%

    多步LLM智能体的风险会沿工作流传播,而逐步独立校验看不到这种传播。TAS把工作流安全状态建成马尔可夫决策过程,用谱风险度量刻画罕见但代价高的尾部风险,并以一个跨步骤共享的预算约束每一步决策。在Agent Security Bench上,TAS在直接与间接提示注入下的平均攻击成功率分别为45.15%和29.73%,低于所比较的十一种防御基线。

  3. arXiv

    智能体安全不再只防网页注入:攻防双方共同进化,工具调用也纳入对抗训练

    大模型智能体靠多轮工具调用完成任务,但用户提问、工具说明或环境观察里夹带的恶意内容会诱导它做出不安全动作。AgentSafeEvo把攻防做成一场覆盖多类任务与攻击的博弈:攻击方学会构造能暴露防守方工具使用弱点的任务,防守方学会在这些攻击下安全完成任务,并用任务内防守方奖励波动来调整每个任务对双方更新的权重。在智能体安全与通用能力基准上,该方法提升了对抗鲁棒性,同时保持通用智能体能力。

  4. arXiv

    智能体护栏不再只靠大模型判断:规则由模型改写、验证器把关,覆盖范围随部署扩大

    VEPA把智能体护栏写成可执行符号规则,由大模型根据部署反馈提出补丁、确定性验证器只放行结构合法且无冲突的策略,在三个智能体安全基准上按活跃策略覆盖的事件取得最高F1,并随部署逐步扩大确定性执行的范围。

  5. arXiv

    专业工作区里的智能体安全有了对照:任务做对了,也可能同时把机密写进共享文件夹

    APEX-Harm 在投行、法律、咨询三类长周期任务上评测提示与脚本注入,12 个前沿模型里 Opus 5 与 Sonnet 5 总体攻击成功率最低(8% 与 20%),但任务专用脚本替换和攻击者提供的通用脚本平均仍达 81–84% 与 73%。

  6. arXiv

    技能包跨会话留痕成攻击通道:七款模型最高77.4%中招,运行时守卫把成功率压到10.9%

    智能体技能包在执行中会留下文件、配置和缓存等持久化产物,后续会话的其他技能会读取并复用它们,这条跨会话通道被用来传递恶意影响。研究刻画了指令传播、数据边界越界和证据投毒三种机制,并构建含270个对抗用例的SkillRelayBench,在Codex CLI、Gemini CLI和Claude Code上评测七款模型,攻击成功率46.7%至77.4%,完整攻击链成功率35.6%至61.1%。运行时防御SkillRelayGuard在读取产物时恢复来源上下文、在执行前给出独立审查建议,把总体攻击成功率从69.5%降到10.9%,同时把合法任务完成率从79.6%提高到87.5%。

  7. arXiv

    两阶段门控审计框架在OpenAgentSafety上以72.8%检出率将LLM审计次数从8.15降至2.33

    该工作提出一个两阶段LLM智能体监控框架:第一阶段用单事件与轨迹序列规则筛选待审动作,第二阶段由LLM审计智能体结合前置轨迹在执行前判定该动作是否有害,并用优化器LLM联合精炼门控规则与审计提示。在OpenAgentSafety测试集上,调优后的门控审计把平均审计次数从8.15降到2.33、token从47.8k降到14.6k,检出率72.8%(全量审计为81.5%),假阳性率5.9%(全量审计为11.8%);在两个模拟多智能体场景中,框架标记了全部攻击运行,同时把审计token用量降低80%以上。

  8. arXiv

    TGCC 用跨层信任门控让被攻陷的 LLM 智能体在数步内自动撤销权限,而非升级

    该工作把描述性的多层信任模型变成可运行控制器:用跨层协同算子把前置层缺陷传播到依赖层,用无遗憾在线估计器按观测到的失败设定各层权重,并用信任门控能力控制仅在复合信任与相关前置层通过能力阈值时发放短时、可撤销的授权;作者证明并数值验证,一个抬高行为信任却破坏前置层的隐蔽攻陷无法升级权限,反而在若干交互内自动撤销。

  9. arXiv

    SEAD把工具型智能体的攻防重写为部分可观测状态控制:DART把语义攻击成功率抬高18.8–35.9个百分点,SAGE把可执行攻击成功率从48.0%压到4.0%

    该工作把工具型语言模型智能体的攻击与防御统一表述为部分可观测状态控制问题(SEAD),据此提出用执行反馈做树搜索的攻击方法DART与可在执行前做只读状态调查的防御方法SAGE,并在187个恶意任务、四个目标模型上报告DART在语义与可执行两种判据下均超过基线18.8–35.9个百分点,SAGE在记录轨迹上保留95.79%的良性轨迹、拦截92.73%的有害路径,在线评估中把DART的可执行攻击成功率从48.0%降至4.0%。

  10. arXiv

    AdaGuard用自适应护栏模型按用户自定义策略审查智能体轨迹,4B模型在AdaptiveSafety上达到89.30%二分类准确率

    该工作提出AdaptiveSafety数据集(10,939条训练样本、1,000条测试样本,策略含1至100条规则)与SafePO强化学习算法,并据此训练出0.6B、4B、8B三档AdaGuard护栏模型,在推理时按用户提供的策略评估智能体轨迹;其中4B模型在AdaptiveSafety与DynaBench上分别取得89.30%和71.82%的二分类准确率。