可解释性工具不必逐模型重造:加几十条无标注提示,拒绝方向跨模型恢复102%
核心概要
可解释性工具通常在一个模型内部用带标签数据单独构建,换模型就要重做。该研究用只在无标注提示上拟合的岭回归映射,把拒绝方向、正确性方向和情感探针从源模型搬到目标模型,覆盖五个家族、1B到72B参数的110个有序模型对。只用普通问题拟合映射时,拒绝转向只恢复54%;加入工具工作区域的无标注提示后,拒绝恢复升到102%,正确性增益恢复到88%至98%,而随机与正交对照最多恢复1%。
深度剖析
一个模型里找到的拒绝方向、正确性方向和情感探针,可以经残差流之间的映射直接用于另一个模型,目标模型不需要任何标签。 此前这类工具按模型逐个构建:拒绝方向、真实性探针或转向向量都在被解释的模型内部用带标签数据找出,换一个模型就从头重建,因此关于一个模型内部的结果不构成关于另一个模型的证据。 在五个家族、1B到72B参数的11个指令微调模型构成的110个有序模型对上,随机方向、与原生方向正交的方向、以及经同一映射搬运的随机源方向这三类对照,在加法干预下最多恢复1%的拒绝效果,情感探针与随机猜测相差不超过3个百分点,答案排序低于零样本参考。
搬运效果的好坏由映射的训练数据决定,而不是由模型家族、规模或是否经过指令微调决定。 只用5400条普通问题拟合的映射,能恢复目标模型自身拒绝转向的54%、TruthfulQA正确性增益的77%,但ARC增益只有16%且区间包含零,情感探针比目标自身低8个百分点。 在映射中加入工具工作区域的无标注提示后,拒绝恢复升到102%且每个目标至少97%,正确性恢复到88%至98%,情感探针追平目标自身;每类16条提示即可让拒绝饱和,500次独立抽样中97%至少恢复80%,最弱一次为44%。
搬运误差可以用一个不需要目标标签的覆盖分数来预测,该分数衡量工具方向有多少落在映射训练数据张成的范围内。 此前有报告称跨模型映射在跨领域时会失败,方向映射后改变行为不超过随机方向,但何时成功、为何失败并不清楚。 在超过16000次运行中,覆盖分数与恢复率的Spearman相关为拒绝0.67、ARC 0.71、TruthfulQA 0.68、情感0.45;覆盖分数高于0.9的拒绝运行平均恢复99%,低于0.5的运行平均恢复4%。
启示与展望
结论建立在11个指令微调开源模型上,其中最大的两个以4位精度运行,另有四个基座模型只测试了读出类工具;搬运对象限于线性方向和一个线性探针,稀疏自编码器特征与电路未测试。拒绝效果按短语匹配在每目标单一强度上评分,消融实验按主运行之后加入的连贯性标准排除了Gemma-2-27B,读出类工具从未用于转向。
命题1假设两个模型在映射覆盖区域上线性对应,忽略映射后表示的重归一化,也不说明哪些模型对对应得好。覆盖分数需要事先知道工具在哪个区域起作用,小样本抽样可能漏掉:16条提示的最弱一次抽样只恢复44%的拒绝效果,且多发生在原生效果最小的Llama-3.2-1B上。消融、逐块映射、核映射和基座模型搬运只用一个种子。
