智能体任务完成得越好,隐私泄露越多:936个可执行任务测出32.5%到94.4%的泄露率
核心概要
AgentCIScope把隐私案例变成跨11个应用环境的936个可执行智能体任务,测出12个智能体的单次泄露率从32.5%到94.4%,且任务完成得好并不等于守得住上下文完整性。
深度剖析
智能体在真实办公应用里读写用户数据时,会不会把不该外传的信息传出去,现在可以用一套可执行任务来测。 此前的评测多停留在模型层面的隐私判断,或在少量应用环境里用人工构造的披露约束做单步测试。 在936个任务上评测12个智能体,单次运行的泄露率从32.5%到94.4%,同一任务重复五次后泄露率再升4到19个百分点。
每个任务都带一份明确的隐私契约,规定哪些信息受保护、不能流向哪些外部接收者,智能体执行时看不到这份契约。 受保护属性来自固定的10类39种属性清单,并要同时通过三种隐私立场的一致同意和对应法条文本的校验。 契约覆盖7部隐私法规,任务分布在Gmail、Google Docs、Slack、Salesforce、Calendar、WhatsApp等11个应用环境、39种环境组合中,平均每个任务涉及2.3个环境。
泄露并不均匀:显式标识符被保护得较好,而偏好、预订、消息这类上下文信息更容易被带出去。 个人偏好和预订详情的平均泄露率为84.7%和76.5%,而信用卡信息为17.1%、社会安全号为29.4%。 按属性类型统计的泄露率显示,日历作为信息来源时平均泄露率最高,WhatsApp作为信息去向时排名最高。
启示与展望
这套评测面向研究智能体隐私行为的研究人员与工程师,覆盖11个应用环境、936个可执行任务和7部隐私法规,任务与数据全部为合成内容。它衡量的是智能体在受控环境中的泄露情况,而不是真实用户数据上的部署表现。
合成数据无法完全覆盖真实交互中的上下文复杂性、歧义和个人化隐私预期;当前评测只针对单智能体设置,多智能体之间的通信与信息共享尚未纳入;平台侧重测量泄露,尚未给出并验证防护机制。
