# SAE可加性残差

稀疏自编码器把模型激活拆成稀疏、线性解码的特征，但把这些特征组合起来时，下游行为未必按加法叠加。研究引入SAE可加性残差（SAR），衡量在选定交互阶数之上仍未被解释的行为变化；在18个模型与行为组合中，学到的SAE坐标一阶残差都低于同一子空间的保和随机旋转，但坐标并非完全可加，成对项在全部18个组合中改善留出联盟排序。在Llama-3.1 8B的16个已发表引导方向上，成对建模把排序保真度从0.5874提高到0.7790，排序误差从0.1444降到0.0606。

稀疏自编码器把模型激活拆成稀疏、线性解码的特征，但把这些特征组合起来时，下游行为未必按加法叠加。研究引入SAE可加性残差（SAR），衡量在选定交互阶数之上仍未被解释的行为变化；在18个模型与行为组合中，学到的SAE坐标一阶残差都低于同一子空间的保和随机旋转，但坐标并非完全可加，成对项在全部18个组合中改善留出联盟排序。在Llama-3.1 8B的16个已发表引导方向上，成对建模把排序保真度从0.5874提高到0.7790，排序误差从0.1444降到0.0606。