跳到主要内容
返回时间线
arXiv来源发表:

智能体护栏不再只靠大模型判断:规则由模型改写、验证器把关,覆盖范围随部署扩大

核心概要

VEPA把智能体护栏写成可执行符号规则,由大模型根据部署反馈提出补丁、确定性验证器只放行结构合法且无冲突的策略,在三个智能体安全基准上按活跃策略覆盖的事件取得最高F1,并随部署逐步扩大确定性执行的范围。

Source-provided article image: VEPA: Verified Evolving Formal Policy for Lifelong LLM Agent Guardrails
Figure 1 · arXiv

深度剖析

智能体护栏的规则可以随部署反馈持续改写,同时保留可检查、可复现的允许或拒绝判定。 此前的自适应护栏把安全策略交给大模型推理执行,判定会随提示上下文波动;形式化护栏则把策略固定在部署前或任务内,缺少从新观察到的风险中修订策略的机制。 在ASSEBench-Safety、ASSEBench-Security和ATBench的在线部署中,VEPA在活跃策略覆盖的事件上取得三个基准的最高F1,并优于仅用大模型的护栏和基于自然语言记忆的自适应护栏。

策略更新被拆成生成、验证、授权三步,大模型只负责提出候选补丁,不直接决定放行。 此前的方法要么让大模型直接给出判定,要么让新学到的记忆立即生效,缺少在规则进入部署前检查结构合法性与规则冲突的环节。 智能体事件先被解析为带类型的记录,规则是这些记录上的可执行符号谓词;确定性验证器只接受结构合法且无冲突的候选策略,证据感知的授权层再要求规则积累足够支持证据后才生效,并在后续反馈矛盾时撤销授权。

启示与展望

这套方法面向部署中的智能体运行时防护:智能体动作先被映射为固定模式下的带类型事件,之后由活跃规则给出允许、拒绝或弃权。确定性保证只覆盖解析之后的执行层,活跃策略在给定同一事件时给出可复现的符号判定。作者把交互式基准视为同一框架的实例,可在每次动作或工具调用边界调用,并把当前环境状态纳入事件上下文。

作者说明上游大模型解析器仍是神经组件,可能抽取错误或受对抗输入影响,因此不主张从原始交互到护栏判定的端到端确定性;大模型兜底的判定同样在形式化保证之外。策略语言目前基于固定事件模式与二值允许或拒绝,可能无法表达更丰富的时间、关系或多步要求。授权判据被描述为针对所选规则的操作性贝叶斯准则,而非经选择校正的频率保证,也不提供整个部署周期上的同时或时间一致保证。