OpenAI把安全分类器搬进模型内部：从GPT-5.6起，每个助手回复都过一道激活探针
核心概要
OpenAI在GPT-5.6起为所有助手回复增加了一层基于模型内部激活的轻量分类器，即探针，与外部文本分类器并行部署。探针可在生成中途流式拦截违规回复，对越狱更稳健，运行开销更低，且准确率随被监控模型能力提升而提高；但它依赖标注数据，只能识别已知的可测量行为，换基座模型需重新训练。
深度剖析
OpenAI在既有文本分类器之外，为助手回复增加了一层直接读取模型内部激活的安全分类器，并已用于其最强模型的内外部流量。 此前的防护栈以运行在用户提示和助手回复文本上的分类器为主，只能看到模型输出的文字。 该层自GPT-5.6起加入，作为内部错位监控系统的一个组件，与模型审查、自动调查和人工响应并列。
探针读取模型残差流中通常位于中层的激活向量，输出二分类logit，并在采样每个token时给出一个分数。 架构基于Attention probes，采用MLP加QV-attention并引入指数滑动平均，把流式状态的内存从随窗口大小增长降为只随注意力头数增长。 在良性前缀鲁棒性实验中，MultiMax探针受前缀影响明显更大，而指数衰减注意力与Max of Rolling Means表现接近；训练时用softmax聚合前缀分数，相比硬最大值略微改善召回率与触发率的帕累托前沿。
探针在推理引擎上流式运行，只保留最小的token池化缓冲，因此系统可靠性接近模型本身，也更容易做到失效即关闭。 外部文本分类器作为独立服务运行，失效模式与模型不同。 当某个logit超过阈值时，系统停止向用户继续流式输出，并把该消息升级给推理模型做最终判断，工具调用在标记为安全前同样被阻断。
探针的准确率随被监控模型能力提升而提高，在后训练阶段之间迁移良好，但跨预训练检查点迁移更有限。 文本分类器面对固定任务时输入不变，性能也保持不变；探针的输入随模型而变。 OpenAI报告在其前沿模型上探针性能持续上升，并观察到后训练各阶段之间迁移很好、预训练检查点之间迁移较有限。
启示与展望
报道范围限于OpenAI对其内部错位监控系统中探针组件的描述，包括架构、训练目标、部署方式和若干内部实验；文中说明所给图表来自不同内部实验，不一定代表已部署分类器。
探针依赖标注数据，只能检测已知且可测量的不良行为；与所监控模型前向传播紧耦合，换权重初始化不同的模型需重训，同族内权重偏离训练检查点后性能也会下降，需要定期重训。文中还指出，针对探针直接优化的真实攻击可能适应安全栈的信号，因此持续红队测试仍是必要环节。