两个SAE潜变量何时算同一特征：一张能量加权传输计划同时给出字典差异与逐潜变量分摊
核心概要
比较两个稀疏自编码器（SAE，把模型激活拆成稀疏学习分量的字典）时，需要同时回答整本字典差多少、差在哪些潜变量、以及多少来自有限文档的抽样波动。这套方法用一张能量加权的最优传输计划把三者连起来：计划的总代价是字典级差异，代价可按潜变量精确分解，传输比例描述每个潜变量的激活能量如何分配到对方潜变量上，并给出联合渐近置信区间。在四个语言模型上，它定位了同数据不同随机种子训练出的SAE之间的差异，并把主题相关的改变拆成权重项与代价矩阵项。
深度剖析
两个SAE字典之间的差异现在可以用一个数表示，并且这个数能按潜变量拆开，指出是哪些潜变量贡献了差异。 此前整本字典的聚合分数无法定位分歧，而逐对相似度又不考虑所有潜变量如何共享可用的对应项。 在TinyStories-1M上，五个同数据不同种子的SAE给出动物主题平均传输代价1.02784、家庭主题1.05424，预设差值0.02639，即动物均值的2.57%，该区间计入文档抽样与同一批文档上SAE对之间的依赖。
做法是把每个潜变量在评估文档上的归一化激活能量当作质量，用最优传输把一本字典的质量搬到另一本，搬运单价由选定的相似度几何决定。 传输计划的行和与列和分别固定为两本字典的能量权重，因此每个潜变量的质量如何分给多个对应项由计划本身给出，而不是取最近邻。 在TinyStories-1M的五个种子上，权重项估计为0.01680、代价矩阵项为0.00956，两者相加等于0.02639，分别占估计差值的64%和36%，两个置信区间都不含零。
同一批文档既决定能量权重又决定代价，因此代价与传输比例的误差需要联合处理，而不是各自单独估计。 此前的比较没有把两本字典的边际能量与代价都来自同一批文档这一依赖性纳入区间。 在已知总体的合成实验中，三个比例加一个代价的95%同时文档自助区间经验覆盖率为94.5%–95.5%；对固定的TinyStories文档池重采样得到91.5%–97.0%。
启示与展望
演示范围是固定已训练SAE、保留潜变量能量为正、字典规模与正则化水平固定，统计保证针对文档抽样；实验覆盖TinyStories-1M、TinyStories-33M、GPT-2 small与Pythia-160M，宽度为64、3072和6144。
作者指出，渐近有效性不保证稀有文档影响很大时的覆盖，稀有文档实验中全计划覆盖在样本量较小时明显低于95%；传输比例依赖指定的代价、输入分布与正则化参数，不能单独确立语义同一性或对模型输出的等效影响；正则化与自比较代价的敏感性也限制了把报告值视为与这些选择无关。