在三个7B级模型与三个数据集上,幻觉信号被单一均值漂移方向主导,简单L2逻辑回归达到0.952 AUROC并超过十二种架构替代方案
该工作在配对样本范式下跨三个7B级模型和三个数据集刻画隐藏状态探针检测LLM幻觉的信号几何,发现信号由单一均值漂移分量主导、移除该方向后检测降至随机水平,收缩线性判别分析弥合约73%的一维与全维分类器差距,简单L2正则逻辑回归以0.952 AUROC界定或优于十二种受控架构替代方案,且LayerMix多层聚合在无oracle访问下匹配oracle层性能。
该工作在配对样本范式下跨三个7B级模型和三个数据集刻画隐藏状态探针检测LLM幻觉的信号几何,发现信号由单一均值漂移分量主导、移除该方向后检测降至随机水平,收缩线性判别分析弥合约73%的一维与全维分类器差距,简单L2正则逻辑回归以0.952 AUROC界定或优于十二种受控架构替代方案,且LayerMix多层聚合在无oracle访问下匹配oracle层性能。
该工作提出以专家任务向量跨专家的方差作为“干扰”度量,在合并前给出预测崩溃的分数,并据此设计 PRISM 算子:先平均任务向量、再按每层干扰水平做软阈值,在来自四个模型族的二十二个合并配置中只有破坏性合并超过该分数阈值,十四个合并的事前预测有十二个正确,PRISM 在无数据、无调参的情况下把全部五个破坏性合并保持在阈值之上、与基座模型评估噪声相当,而朴素平均至少低 14.4 分或完全崩溃。
已读完全部报道