给激活探针加一句分类指令:跨13个安全基准的分布外检测最多提升约4个AUC点
大模型智能体用激活探针在运行时拦截提示注入、越狱和不安全请求,做法是读取模型自身的隐藏状态。一种低成本做法是在用户回合后追加一句分类指令,让模型把请求表示成类别,从而放大探针需要区分的信号。在13个安全基准、三个开源模型家族上按留一数据集评估,分类式后缀在单点探针上稳定优于不加后缀,分布外检测最多提升约4个AUC点,且增益来自分类格式而非具体判据。
大模型智能体用激活探针在运行时拦截提示注入、越狱和不安全请求,做法是读取模型自身的隐藏状态。一种低成本做法是在用户回合后追加一句分类指令,让模型把请求表示成类别,从而放大探针需要区分的信号。在13个安全基准、三个开源模型家族上按留一数据集评估,分类式后缀在单点探针上稳定优于不加后缀,分布外检测最多提升约4个AUC点,且增益来自分类格式而非具体判据。
已读完全部报道