PIR 用隐藏信息测试读出模型内部认得的答案，把「不肯说」与「不知道」分开
核心概要
研究者把法证的隐藏信息测试（Concealed Information Test）搬到语言模型内部，提出无需参考模型、无需标注真值语料的 Probe of Internal Recognition（PIR）：给定问题与候选答案，从模型内部状态读出它认为哪个候选正确；在 Gemma、Qwen、Llama、Mistral、Phi 五个家族八个模型上，PIR 以 0.70 至 0.87 的平衡准确率恢复被隐藏的答案，远高于 0.28 至 0.40 的未知项基线与 0.25 的随机水平，并在提示欺骗、训练出的 sandbagging、外部密码锁定与 circuit-broken 检查点上保持 0.85 至 0.93 的识别度，而当遗忘学习真正抹去知识时
深度剖析
PIR 提供了一种无需参考模型、无需标注真值语料的读出方式，能从模型内部状态判断它把哪个候选答案认作正确，即使输出说的是别的。 此前的线性探针多依赖监督信号或标注真值语料，部分设计还假设存在一个单独训练的诚实模型，且主要针对陈述句的真假；PIR 借用隐藏信息测试的「正确项对干扰项」对比，由干扰项本身提供对照，因此不需要真值标签，也不需要一致性假设。 在五个家族（Gemma、Qwen、Llama、Mistral、Phi）八个模型、两代模型上复现，提示欺骗条件下识别率为 0.70 至 0.87，未知项基线为 0.28 至 0.40，随机水平 0.25；读出使用问题不相交的交叉验证与自助法 95% 置信区间。
PIR 划出一条「隐藏」与「抹除」的边界：只要能力在推理时还能被提示、密码或触发器唤回，识别信号就保持可读；当遗忘学习真正移除能力时，识别度降到未知项基线。 以往工作多把探针用于判断陈述真假，尚未把它当作区分「隐藏」与「真正移除」的检验，也未在专门训练来隐藏的模型或遗忘学习模型上评估；本文把这一区分作为读出信号在部署时的性质来验证，并用不依赖 PIR 的行为判据（推理时能否唤回）来界定两侧。 在 gemma-2-9b 上，RMU 遗忘使基础识别率从 0.87（CI 0.84–0.90）降到 0.30（CI 0.27–0.33），与未知项基线 0.34（CI 0.31–0.37）重叠；只遗忘网络安全领域时，该领域识别降到 0.28（CI 0.25–0.31），低于其未知项基线 0.34，而生物与化学仍可读；外部检查点上 Qwen2.5-7B 生物识别从 0.86 降到 0.31（RMU）与 0.33（NPO），zephyr-7b-beta 从 0.85 降到 0.30（RMU）与 0.45（NPO，部分下降）。
识别方向是模型实际使用的因果方向，且内部读出携带黑箱行为线索之外的信息。 此前工作多停留在「激活中线性编码真假」的相关性证据；本文通过沿识别方向做剂量式激活干预改变模型输出，并用匹配的输出方向对照说明该方向做了输出方向做不到的事，同时把内部读出与黑箱行为检测器在同一划分上比较。 在留出的已知问题上，沿识别方向干预使 gemma-2-9b 以 0.83（Wilson CI 0.76–0.88）选择被干预选项，150 个匹配随机方向为 0.07（置换 p<0.001），且随剂量单调；匹配的输出字母方向对照为 0.07，两者余弦相似度 0.04；phi-4 上复现为 0.79（CI 0.71–0.85）。检测器在困难的隐藏对未知划分上 AUC 为 0.848（CI 0.812–0.884），高于纯文本基线 0.621（CI 0.573–0.669）与组合黑箱行为检测器 0.860（CI 0.826–0.894）之外的内部增量；在密码锁定模型上内部读出 0.892 对黑箱 0.845，在 circuit-broken 上 0.848 对 0.860，两者结合最好（0.929 与 0.899）。
同一读出可扩展到自由生成，用模型自身采样重建候选，并以峰值识别度作为无标签的隐藏检测器。 多项选择之外没有现成候选列表，此前探针工作主要限于陈述句真假；本文从模型在唤回条件与部署条件下的采样中重建候选集，把读出迁移到自由生成，并改用峰值识别度而非分歧分数来标记隐藏。 在 TriviaQA 上，诚实模型限定于同时产出正确与错误候选的问题时，读出解码正确候选为 0.71，高于随机 0.25、纯文本解码 0.54 与自洽性 0.56；在训练出的自由生成 sandbagging 策略下，解码被隐藏答案为 0.74（纯文本 0.68），峰值识别检测器区分隐藏与未知的 AUC 为 0.776，高于行为基线 0.68（CI 0.63–0.73）。
启示与展望
这项工作面向需要候选答案集的场景：多项选择，以及通过重建候选扩展到自由生成，但不覆盖没有可枚举答案的开放式推理。部署检测器需要模型自身的基础或诚实检查点，因此适用于遗忘学习验证，以及把已发布模型与疑似被篡改副本对照的审计，而不适用于完全黑箱的系统。它面向的是未针对探针做对抗训练的模型；作者也说明，一个被对抗训练来混淆自身识别信号的模型可以击败该读出。在遗忘学习一侧，判据是推理时能否通过提示、密码或触发器唤回能力，因此「抹除」指的是这一行为意义上的不可唤回，作者并不主张权重永远无法被重新学会。
隐藏与未知的标签来自严格的选项轮换一致性门控，会丢弃模型作答不稳健的问题，并因此影响检测器数值。干净的领域特异性抹除结果建立在自己单次 RMU 运行之上，因为外部检查点存在过度遗忘。若干模型有机体是作者自建且单种子，外部验证未覆盖每一种隐藏形式，自由生成检测器只在一个模型与事实性问题上展示。自由生成中解码相对纯文本的优势较小，因为事实问题上金标准答案往往也是最相关的候选。对抗性反探针有机体表明，被专门训练来混淆识别的模型可以把读出压到未知项基线，作者指出针对这种篡改的检测还需要基础模型异常参照与具备异常意识的对手，这一点留作开放问题。此外，读出只能读取完好的表征，因此无法区分被抹除的知识与从未拥有的知识，两者都给出沉默的读出。