答案探针读到的可能只是即将写出的候选:同一位置双目标探测在DD上拉开0.696的发射差
核心概要
链式思维隐藏状态上的答案探针常被当作模型已定下最终答案的证据,但候选名即将被写出时,隐藏状态同样会携带该候选的信息。发射受控双目标探测(ECDP)在同一位置用同一低秩读取器分别拟合“下一个被提到的候选”和“最终答案”,并预先固定各自的零假设与阈值。在DecisionDepth上,Qwen3.5-4B读取下一个提及的准确率为.966(零假设.234),读取最终答案仅.221(零假设.186),发射差.696;Llama-3.1-8B的发射差为.575。这一顺序并非普遍规律:在Qwen3-8B的MMLU设定中,最终答案反而更易读出。
深度剖析
在链式思维推理的中间位置,隐藏状态更容易读出模型即将写出的候选名,而不是它最终给出的答案。 此前把答案探针的高准确率直接读作模型已经做出决定的证据,没有在同一位置区分“即将发射的候选”这一竞争信号。 在DecisionDepth上,Qwen3.5-4B在首个干扰项被提及前的位置读取下一个提及为.966(零假设.234),读取最终答案为.221(零假设.186),发射差.696,区间[.648, .744];Llama-3.1-8B的对应发射差为.575,区间[.514, .632]。
做法是在同一位置、用同一类低秩读取器分别拟合两个目标,并让两个目标各自拥有零假设和预先固定的判定阈值。 读取器是秩为4的双线性打分器,输入为第32层隐藏状态,候选由同一模型同一层嵌入,按条目五折训练,权重衰减在训练折的校准切片上选择。 主分析只取正确答案且包含合格干扰项提及的轨迹,Qwen3.5-4B主集353条、Llama-3.1-8B主集308条;标签打乱与随机位置对照都接近各自零假设。
这一顺序会随设定反转,因此答案可解码性取决于目标和协议,而不是链式思维读出的普遍性质。 在预先设定的Qwen3-8B、MMLU、全前缀注意力读取器设定中,两个目标都可读出,且最终答案明显更强。 第22层上,最终答案相对基线的提升为.628,下一个提及为.230,配对差为.398,区间[.459, .336],覆盖467个问题;同一协议下Qwen3.5-4B第19层的探索性事后运行方向相同。
启示与展望
结论建立在DecisionDepth合成任务和BIG-Bench Hard逻辑演绎的正确答案轨迹上,模型规模为4B到8B,其中三个模型同属Qwen系列;主分析只覆盖在最终答案之前提到干扰项的轨迹,层扫描只在Qwen3.5-4B上进行。
在Qwen3-8B的MMLU设定中最终答案占优,但模型、任务、位置与读取器同时改变,匹配交叉比较因DD上的即将提及探针未能可靠训练而没有有效统计量,因此无法确定是哪个因素反转了顺序;植入信号对照只相对于一个注入方向与剂量给出界限。
