跳到主要内容
返回时间线
arXiv来源发表:

给激活探针加一句分类指令:跨13个安全基准的分布外检测最多提升约4个AUC点

核心概要

大模型智能体用激活探针在运行时拦截提示注入、越狱和不安全请求,做法是读取模型自身的隐藏状态。一种低成本做法是在用户回合后追加一句分类指令,让模型把请求表示成类别,从而放大探针需要区分的信号。在13个安全基准、三个开源模型家族上按留一数据集评估,分类式后缀在单点探针上稳定优于不加后缀,分布外检测最多提升约4个AUC点,且增益来自分类格式而非具体判据。

Source-provided article image: Prompted to Discriminate: Generalizing Malicious-Input Probes in the Wild
Figure 2 · arXiv

深度剖析

在用户回合之后追加一句分类指令,能让激活探针在训练中没见过的攻击类型上更准地分辨恶意输入与正常输入。 不加后缀时,探针直接读取用户回合处的隐藏状态;此前把这类后缀当作可选的锐化手段,其措辞是否重要、在分布外是否仍有效并未被系统检验。 在13个安全基准(越狱、注入与正常对话)和Llama-3.1-8B、Qwen3.5-9B、Gemma-4-12B三个开源模型家族上,按严格留一数据集评估,单点探针上加分类后缀相对不加后缀最多提升约4个AUC点。

起作用的是分类这一格式本身,而不是后缀里写明的判据。 与分类无关的离题后缀或仅仅提醒模型注意的后缀帮助很小,说明增益不能归因于多了一句指令或额外的注意力。 把判据换成不含内容的标签,效果与真实的恶意/良性判据相当;具名判据只在严格阈值下补充精度。

这一增益不限于单点读取,也能延续到生产环境常用的多点池化探针。 单点探针只读一个位置的隐藏状态,而注意力池化、multi-max与MLP等池化方式汇总多个位置,二者行为未必一致。 在注意力、multi-max与MLP三类池化探针上增益同样出现,但在这些探针上表现最好的后缀取决于读出方式。

启示与展望

结论建立在13个安全基准(越狱、注入与正常对话)和Llama-3.1-8B、Qwen3.5-9B、Gemma-4-12B三个开源模型家族之上,评估采用严格留一数据集方式,针对训练中未见的攻击类型。适用对象是使用激活探针做运行时监控的智能体部署方,接入方式为KV-cache分叉。

增益并非自动成立:哪个后缀有帮助、提升多少,取决于模型和读出方式;在多点池化探针上,表现最好的后缀随读出方式变化。具名判据只在严格阈值下补充精度,其余情形与不含内容的标签相当。