在三个7B级模型与三个数据集上,幻觉信号被单一均值漂移方向主导,简单L2逻辑回归达到0.952 AUROC并超过十二种架构替代方案
该工作在配对样本范式下跨三个7B级模型和三个数据集刻画隐藏状态探针检测LLM幻觉的信号几何,发现信号由单一均值漂移分量主导、移除该方向后检测降至随机水平,收缩线性判别分析弥合约73%的一维与全维分类器差距,简单L2正则逻辑回归以0.952 AUROC界定或优于十二种受控架构替代方案,且LayerMix多层聚合在无oracle访问下匹配oracle层性能。
该工作在配对样本范式下跨三个7B级模型和三个数据集刻画隐藏状态探针检测LLM幻觉的信号几何,发现信号由单一均值漂移分量主导、移除该方向后检测降至随机水平,收缩线性判别分析弥合约73%的一维与全维分类器差距,简单L2正则逻辑回归以0.952 AUROC界定或优于十二种受控架构替代方案,且LayerMix多层聚合在无oracle访问下匹配oracle层性能。
已读完全部报道