稀疏自编码器的特征不能简单相加：成对项把组合排序保真度从0.5874拉到0.7790
核心概要
稀疏自编码器把模型激活拆成稀疏、线性解码的特征，但把这些特征组合起来时，下游行为未必按加法叠加。研究引入SAE可加性残差（SAR），衡量在选定交互阶数之上仍未被解释的行为变化；在18个模型与行为组合中，学到的SAE坐标一阶残差都低于同一子空间的保和随机旋转，但坐标并非完全可加，成对项在全部18个组合中改善留出联盟排序。在Llama-3.1 8B的16个已发表引导方向上，成对建模把排序保真度从0.5874提高到0.7790，排序误差从0.1444降到0.0606。
深度剖析
稀疏自编码器（SAE）把模型激活写成稀疏、线性解码的特征，单个特征的效果已知，并不等于把它们相加就能预测联合效果。研究把这一可加性问题放到下游行为上测量，而不是只看激活重建。 此前的SAE评测刻画重建、稀疏性和可解释性，但没有说明独立刻画的特征何时能组合成忠实的联合解释或干预。 在57个模型、层与行为组合中，一阶残差的中位数都为正，而仿射对照保持在数值零附近，说明在这些干预下可加性并不精确。
研究用SAE可加性残差（SAR）量化某一交互阶数之上未被解释的行为方差，并在独立子集采样下把它与显式特征交互和联盟排序误差联系起来。 线性解码只保证激活重建可加，不保证下游效果可加；后续计算可以让特征效果相互增强、抑制或彼此依赖。 在独立伯努利联盟采样下，SAR恰好等于高于该阶的交互项能量占比，并给出最优低阶近似的排序误差上界。
为区分可加性来自SAE坐标还是来自下游计算，研究把学到的SAE坐标与同一选定子空间的保和随机旋转作对比。 旋转保持选定子空间、总贡献和下游模型不变，只改变坐标分解，因此差异只能归因于坐标选择。 在全部18个模型与行为组合中，学到的SAE坐标一阶残差中位数都低于旋转，例如Mistral-7B主谓一致上两者中位数为0.02179与0.1196。
成对项能补回一阶模型漏掉的联盟结构，在解释和引导两类场景中都改善预测。 一阶模型只用单个特征效果，无法描述特征对之间的交互。 成对模型在全部18个组合中提高排序保真度，平均值从0.9782升到0.9959，选择遗憾从0.0272降到0.0051，并在全部20次重复划分中保持；在Llama-3.1 8B的1,024个引导组合上，排序保真度从0.5874升到0.7790，排序误差从0.1444降到0.0606。
启示与展望
结论限定在所选特征贡献、特定行为读出和特定干预分布之内，作者明确不把它当作SAE字典的全局属性。主比较使用Gemma-3 4B、Mistral-7B和Llama-3.1 8B，行为包括简单复制、主谓一致、性别代词偏好、CounterFact、IOI和大于比较；引导实验使用Llama-3.1 8B上16个已发表的CorrSteer特征和1,400道MMLU-Pro问题。
作者指出，拟合的二阶残差不是其总体值的高精度估计：拟合联盟从224增到256时，二阶排序保真度只变0.14%，而归一化二阶残差变化约21%。不同引导域的效果并不一致，部分域的二阶留出残差可以高于一阶。深度趋势有一部分来自剩余下游计算，随机旋转在九次比较中的八次也显示同样的一阶下降，Llama在最后采样层附近还出现非单调。