同一个退款调用,谁下的令才算数:把“目的”与“后果”分开记,误标渠道下直害放行从100%降到34.5%
核心概要
机构AI智能体执行一次工具调用时,同样的退款动作可能来自税务官员的授权,也可能来自它正在摘要的请愿书里夹带的指令。这套授权守卫为“后果”和“目的”各记一组中性逻辑三元组,按渠道可信度打折后融合证据,再作出授权、升级人工复核或拒绝三种决定。在InjecAgent的1,054个攻击案例上,保留“未被请求”这一矛盾态后,渠道标签被误标时最坏直接危害放行率从100%降到34.5%,合成电子政务场景为25.0%。
深度剖析
机构智能体的工具调用授权不再只看动作本身是否安全,而要同时判断这次调用是否服务于已认证委托人的请求。 只观察动作后果的监视器无法区分官员要求的退款与请愿书诱导的同一笔退款,细化安全评分也补不回“是谁下的令”这一信息。 在InjecAgent的1,054个攻击案例上,仅用后果证据的模糊、直觉模糊和单值中性逻辑比较器不放过任何攻击,但也拒绝了15%至20%的合法敏感请求。
守卫把证据按来源渠道的可信度打折,可信证据单独决定拒绝,全部证据决定能否授权。 此前的做法要么忽略指令来源,要么只按固定规则把低可信渠道整体升级。 在渠道标签被误标的T2条件下,基线守卫的直接危害放行率为36.7%,而朴素污点规则为82.3%;在构造的最坏情形T2*下,基线守卫对直接危害和数据窃取均为100%。
为“目的”单独保留一个矛盾度坐标,使“委托人从未请求过这个动作”这一事实不会被后来出现的强支持抹掉。 基线版本把原始矛盾度置零,只让打折过程产生不确定性。 改用保留无知感的矛盾度后,T2下直接危害放行率从36.7%降到16.9%,T2*下直接危害与数据窃取分别从100%降到34.5%和28.0%;合成电子政务场景的T2*单步放行率为25.0%。
用调用记录学习目的证据时,把渠道可信标签从特征中剔除,可以削弱标签与敌意之间的虚假关联。 带标签的关联模型会把“来自外部渠道”当作敌意的替代信号。 剔除标签后,仅改动标签使外部来源片段敌意估计的平均变化为零,而带标签模型为0.19;普通误标下直接危害放行率从规则证据的36.7%降到1.6%至1.8%。
启示与展望
结论适用于工具边界上的静态证据评估:证据来自工具目录、已认证官员指令、密封伙伴机构消息以及请愿、邮件和上传文档,实验对象是InjecAgent记录的攻击案例与手写合成电子政务场景,没有运行任何真实语言模型智能体。
来源保证是条件性的:它假定攻击者无法改动可信标签,且调用被保守地归因到所有可用渠道;在故意违反标签完整性的T2*条件下,所有依赖标签的守卫都放行了部分攻击。良性类别只有6至62个独立场景,几个百分点的差异需谨慎对待;合成委托请求与目标基准相似,相关数字属于乐观迁移结果。
