可解释性结论何时可信：特征维度会跳变，岭正则版本在12个玩具模型上给出同一判定
核心概要
机制可解释性常靠带阈值的数字支撑安全结论，而权重、随机种子或阈值的微小变化就可能让结论翻转。这项工作在已知真实特征的玩具模型与合成字典上刻画了特征维度不连续的确切位置，并用岭正则版本替换它，证明其稳定性常数随特征尺度增长且系数最优。在12个训练好的玩具模型上，岭正则求和规则在预先设定的21个平滑参数取值上给出同一判定，而忽略短特征向量的版本对其中两个模型给出相反判定。
深度剖析
特征维度这一常用度量在特定权重配置下会发生跳变，跳变幅度恰好为1，因此基于它的“某特征存在”判断可能被微小扰动推翻。 此前的做法是对特征向量施加范数阈值，而该阈值本身会把小特征向量判为未学到，从而制造出看似违反已知规律的结果。 不连续点被精确刻画为某列权重向量消失、同时存在一个与其余所有列正交的方向；在这些点上特征维度与求和规则同时跳变1，离开这些点后局部Lipschitz模随列范数按倒数增长，且该阶数不可改进。
把特征维度换成在分母加入岭参数的正则化版本后，度量对权重变化变得连续且可给出显式稳定性界。 原版特征维度没有可用的扰动界，正则化版本则给出与矩阵形状无关的Lipschitz常数，并证明该常数不可再小。 岭杠杆得分的改变量不超过权重算子范数改变量的固定倍数，该常数在标量情形取到且无矩阵对能达到；正则化维度的稳定性常数随特征尺度增长，其系数最优，渐近加性常数也已给出。
特征恢复率这类带余弦阈值的计数可以配上可检验的证书，说明“某特征被恢复”的判定在字典改变后是否仍然成立。 此前恢复率只是一个计数，阈值一改或字典一换就可能翻转，没有条件说明判定能否跨字典保持。 在合成字典与训练字典上，证书从未给出错误结论；但在独立训练的种子之间、甚至同一次训练的两个检查点之间，证书对任何特征都只能给出平凡结论。
启示与展望
结论的适用范围是玩具模型、合成字典，以及用三个种子训练的小型字典；真实语言模型尚未测试。证书在所有测试中成立，且对小扰动有信息量，但在独立训练的字典之间、甚至同一次训练的两个检查点之间，都无法非平凡地认证任何特征。
正则化维度加性常数的最优标量值只在部分参数范围得到证明，中间区间仍为猜想，其中一个二变量不等式被列为可用计算机辅助检验的候选。局部模的最优系数落在某个区间内而未被确定。在标准阈值下，三个种子之间有相当比例的特征其“已恢复”状态发生改变。