OpenAI把安全分类器搬进模型内部:从GPT-5.6起,每个助手回复都过一道激活探针
OpenAI在GPT-5.6起为所有助手回复增加了一层基于模型内部激活的轻量分类器,即探针,与外部文本分类器并行部署。探针可在生成中途流式拦截违规回复,对越狱更稳健,运行开销更低,且准确率随被监控模型能力提升而提高;但它依赖标注数据,只能识别已知的可测量行为,换基座模型需重新训练。
OpenAI在GPT-5.6起为所有助手回复增加了一层基于模型内部激活的轻量分类器,即探针,与外部文本分类器并行部署。探针可在生成中途流式拦截违规回复,对越狱更稳健,运行开销更低,且准确率随被监控模型能力提升而提高;但它依赖标注数据,只能识别已知的可测量行为,换基座模型需重新训练。
该研究在534个JudgeBench配对与1802个MT-Bench比较上,用嵌套分组交叉验证训练L2正则化线性探针,读取判决前残差流激活来预测LLM评判者因候选顺序交换而改变所选回答身份的位置翻转;四个评判者的AUROC为.621–.850,优于包含口头置信度、判决logit、长度差与初始选择的组合基线.062–.113,且冻结迁移到MT-Bench后AUROC为.685–.853。
已读完全部报道