跳到主要内容
返回时间线
NVIDIA Research来源发表:

AI 安全是一项工程问题:在智能体技术栈的每一层加以解决

核心概要

本文主张 AI 安全应作为工程问题处理,即需要明确的安全需求、可强制执行的管控、具名的责任人和防护有效的证据,并提出安全取决于整个智能体技术栈(模型、harness、运行时环境)各层的协同,介绍了 NVIDIA OpenShell 这一开源安全运行时及其在 Open Secure AI Alliance 伙伴中的集成,以及 CrowdStrike SafeMind、Palo Alto Networks Prisma AIRS、Capital One VulnHunter、ReversingLabs Spectra Assure 等防御工具示例,强调开放共享失败证据与验证方法以加速防御方优势。

AI-generated editorial illustration: AI Security Is an Engineering Problem — How to Solve It at Every Layer of the Agent Stack

深度剖析

提出 AI 安全是工程问题,需要明确的安全需求、可强制执行的管控、具名责任人和防护有效的证据。 将传统安全职责(建立身份、控制访问、限制暴露、验证防护有效)映射到 AI 智能体的新运行条件,强调在智能体做出错误决策时安全边界仍须成立。 本文为观点性文章,以客户记录更新场景为例说明网络策略应阻止未授权数据传输、受保护日志应记录工具调用与授权决策,未提供实验数据或量化结果。

安全取决于整个智能体技术栈,模型、harness 和运行时环境各层都承担安全责任,需要跨层控制。 把 AI 智能体视为对既有应用依赖(代码、数据、身份、服务、基础设施)的扩展,指出运行时环境必须独立于智能体推理,对文件、网络目的地和进程施加限制。 以场景推演和架构描述为主,未给出跨层控制的实测效果。

介绍 NVIDIA OpenShell 开源安全运行时及生态集成,并列举防御工具示例。 OpenShell 在智能体触及范围之外强制执行策略并提供沙箱执行;Cisco DefenseClaw 增加治理层,JFrog 集成 OpenShell 以扫描验证智能体技能并执行技能访问策略;CrowdStrike SafeMind 通过重复攻击模拟测试防御,Palo Alto Networks Prisma AIRS 提供持续红队测试,Capital One VulnHunter 用于 AI 代码安全,ReversingLabs Spectra Assure 用于软件包恶意软件与篡改分析。 为产品与项目介绍,未提供独立评测或对比数据。

工程团队需要安全证据,包括部署前测试、具名责任人决策、失败复现与修复验证,并将发现转化为可重复测试。 把测试范围明确为阻止越权获取凭证、向未授权目的地发送敏感数据、更改权限或干扰监控,并要求在模型、工具或工作流发生重大变化后重复测试。 以流程建议和示例工具说明为主,未给出测试通过率或修复效果数据。

启示与展望

本文面向需要部署 AI 智能体的工程与安全团队,适用于希望将既有安全原则落地到智能体技术栈的组织;其建议以工程流程、运行时管控和测试证据为核心,适合作为安全需求定义与工具选型的参考框架。

文章未提供量化测试结果、独立评测或失败案例数据,读者可能关注这些管控在真实部署中的有效性证据;此外,文中提及的工具与联盟集成细节有限,其实际覆盖范围和成熟度有待进一步了解。

来源