跳到主要内容
检索

# 隐状态探测

2 篇关联报道

订阅更新
  1. arXiv

    答案探针读到的可能只是即将写出的候选:同一位置双目标探测在DD上拉开0.696的发射差

    链式思维隐藏状态上的答案探针常被当作模型已定下最终答案的证据,但候选名即将被写出时,隐藏状态同样会携带该候选的信息。发射受控双目标探测(ECDP)在同一位置用同一低秩读取器分别拟合“下一个被提到的候选”和“最终答案”,并预先固定各自的零假设与阈值。在DecisionDepth上,Qwen3.5-4B读取下一个提及的准确率为.966(零假设.234),读取最终答案仅.221(零假设.186),发射差.696;Llama-3.1-8B的发射差为.575。这一顺序并非普遍规律:在Qwen3-8B的MMLU设定中,最终答案反而更易读出。

  2. arXiv

    研究者提出跨模型隐藏状态探测框架,外部观察者可匹配或超过生成模型对自身幻觉起始位置的自我检测

    该工作提出一种基于内部隐藏状态的细粒度跨度级幻觉检测框架,通过检查逐层激活模式定位大语言模型生成中的幻觉起始与延续词元,实验显示该方法在极端类别不平衡下相较随机基线在精确率-召回率AUC上取得显著提升,并进一步提出跨模型检测框架,发现一个模型观察另一模型生成所引发的内部表征时,外部观察者能够匹配甚至超过生成模型对自身幻觉起始的自我检测,即使观察者是更小的模型。

已读完全部报道