安装自然值仅转移少量已知—未知弃答对比：LLM特征审计区分充分性与使用
核心概要
该工作提出一套经验契约，用安装、移除与下游救援三种测试，在自然输入观测到的取值上评估LLM内部特征：安装衡量特征对行为的充分性，移除与救援衡量模型是否真正使用该特征。应用于已发表的实体识别隐变量、稠密已知—未知方向与主谓一致特征集后，充分性与使用强度出现明显分离，说明特征追踪概念并能操控行为，并不足以证明模型使用了该特征。
Figure 2: Only the high target, beyond every unedited activation, clearly raises knowledge abstention. The unknown-entity latent is left unedited (baseline) or set to the natural or the high target on 400 400 new unknown-entity questions. Left: abstention counts and rates. Right: paired changes with 95 % 95\% intervals.
arXiv深度剖析
论文提出并实施了一套经验契约，把特征层面的主张分为关联、控制、充分性与使用四类，并只在自然输入观测到的取值上检验后两类。 以往工作常以“特征能区分概念”和“操控特征能改变行为”作为机制性证据；该契约把这两者降为关联与控制，另设安装（interchange）测充分性、移除与下游救援测使用。 契约在开发数据上固定特征、位点、更新规则、目标与度量，再在留出数据上确认；仅当自然对比的区间不包含零时才运行测试，并报告每个比值的区间而非阈值判定。
已发表的未知实体隐变量能强烈操控知识弃答，但把自然范围内的观测值安装到匹配提示中，只转移了自然已知—未知弃答对比的一小部分。 该结果复现了Ferrando等（2025）的已知/未知实体分离与强操控效应，同时显示这种强效应来自把隐变量推到自然范围之外：自然目标仅小幅改变弃答，高目标才明显提升。 在Gemma 2 2B-IT上，已知实体隐变量L13/7957与未知实体隐变量L15/11898在留出实体上分别达到较高的AUROC；剂量研究中自然目标与高目标的达成激活值均与请求匹配，并报告了未编辑激活的分位数与最大值。
稠密已知—未知方向在Gemma与Llama上呈现相反的安装—移除不对称，说明充分性与使用必须分别测量。 同一语义标签下，SAE隐变量与稠密方向在同一测试下表现不同；Llama方向安装转移了大部分自然对比但移除与救援很弱，Gemma方向移除消除较多但安装转移很少。 两个方向均为在不相交实体上拟合的类均值差，位点与Ferrando等（2025）的读出位点一致；配对设计为同提示类型的已知—未知实体匹配，并报告了配对效应区间。
主谓一致特征集的充分性与救援强度取决于把特征值写入模型的方式：解码器更新比编码器约束更新在行为上更忠实，尽管后者在特征空间更精确。 论文把更新规则本身纳入干预主张，指出下游层读取的是残差流而非SAE编码器输出，因此特征空间误差更小不等于行为更接近自然计算。 在留出名词组上，解码器更新下安装与移除各解释约大部分自然对比，下游恢复逆转了大部分上游效应；编码器约束更新在重编码后对请求值的匹配精确数个数量级，但充分性与救援更低。此外，随机匹配特征数与激活率的特征集只带来很小的logit差变化。
启示与展望
该契约面向研究LLM内部特征与行为因果关系的读者，适用于在指定表示、位点、编辑token、更新规则与行为度量下评估固定候选特征。它给出的是在这些条件下、以自然输入观测值为干预目标的证据，可用于比较不同表示与不同写入方式，并帮助研究者在报告特征解释时区分充分性与使用。对已发表实体隐变量的审计限于Gemma 2 2B-IT的实体token位点与所复现的操控设置；主谓一致特征集的结果限于Pythia-70M-deduped的六个残差位点与留出名词组。
对已发表实体隐变量未运行下游救援，因此其使用强度只知不低于移除比例；稠密方向的移除效应与较弱的救援可能受后续组件补偿影响，单token编辑只探测了可能跨token与跨层计算中的一个位置。自然特征值未必产生自然可实现的联合残差状态，因此高强度只是在指定表示、位点、编辑token与更新规则下的证据。此外，所加载文本中部分表格数值与贡献条目在解析中缺失，若需引用具体百分比与效应量，应以原文表格为准。