跳到主要内容
检索

# 内部识别探针(PIR)

1 篇关联报道

订阅更新
  1. arXiv

    PIR 用隐藏信息测试读出模型内部认得的答案,把「不肯说」与「不知道」分开

    研究者把法证的隐藏信息测试(Concealed Information Test)搬到语言模型内部,提出无需参考模型、无需标注真值语料的 Probe of Internal Recognition(PIR):给定问题与候选答案,从模型内部状态读出它认为哪个候选正确;在 Gemma、Qwen、Llama、Mistral、Phi 五个家族八个模型上,PIR 以 0.70 至 0.87 的平衡准确率恢复被隐藏的答案,远高于 0.28 至 0.40 的未知项基线与 0.25 的随机水平,并在提示欺骗、训练出的 sandbagging、外部密码锁定与 circuit-broken 检查点上保持 0.85 至 0.93 的识别度,而当遗忘学习真正抹去知识时

已读完全部报道