跳到主要内容
检索

# 联合文档自助法

1 篇关联报道

订阅更新
  1. arXiv

    两个SAE潜变量何时算同一特征:一张能量加权传输计划同时给出字典差异与逐潜变量分摊

    比较两个稀疏自编码器(SAE,把模型激活拆成稀疏学习分量的字典)时,需要同时回答整本字典差多少、差在哪些潜变量、以及多少来自有限文档的抽样波动。这套方法用一张能量加权的最优传输计划把三者连起来:计划的总代价是字典级差异,代价可按潜变量精确分解,传输比例描述每个潜变量的激活能量如何分配到对方潜变量上,并给出联合渐近置信区间。在四个语言模型上,它定位了同数据不同随机种子训练出的SAE之间的差异,并把主题相关的改变拆成权重项与代价矩阵项。

已读完全部报道