OpenAI把安全分类器搬进模型内部:从GPT-5.6起,每个助手回复都过一道激活探针
OpenAI在GPT-5.6起为所有助手回复增加了一层基于模型内部激活的轻量分类器,即探针,与外部文本分类器并行部署。探针可在生成中途流式拦截违规回复,对越狱更稳健,运行开销更低,且准确率随被监控模型能力提升而提高;但它依赖标注数据,只能识别已知的可测量行为,换基座模型需重新训练。
OpenAI在GPT-5.6起为所有助手回复增加了一层基于模型内部激活的轻量分类器,即探针,与外部文本分类器并行部署。探针可在生成中途流式拦截违规回复,对越狱更稳健,运行开销更低,且准确率随被监控模型能力提升而提高;但它依赖标注数据,只能识别已知的可测量行为,换基座模型需重新训练。
OpenAI 对齐研究团队在 g-mean² 之外补充了两个监控能力指标:一个只在两个模型都产生目标行为的同一批任务实例上比较,减少因各自实例分布不同造成的排名偏差;另一个模拟监控器作为拒绝闸门、允许重试时的部署风险,同时给出坏输出概率、部署概率与已部署输出中的坏输出比例。合成实验中,已知监控能力排序在能力差异拉大时仍能被配对比较恢复。
已读完全部报道