跨层TopK把稀疏预算交给模型分配：同等激活数下重建误差低于逐层TopK，训练每步快2.9倍
核心概要
跨层转码器（CLT）要把大模型各层激活拆成可解释特征，但每层重建难度差别很大，逐层TopK给每层固定激活数并不合适。字节跳动Seed等提出的Cross-Layer TopK把全部层的潜在特征放在一起排序，每个token只保留总量固定的K个，由模型自己决定各层分多少。在Qwen3-8B-Base上，它与逐层TopK同为每token 360个激活，验证集FVU从27.64%降到27.07%，并配合稀疏解码把训练步时间缩短到原来的约三分之一。
深度剖析
跨层转码器的稀疏选择从逐层固定改为跨层统一排序，每个token的激活总数固定，但各层分到多少由训练决定。 此前的逐层TopK把每层激活数提前定死，而跨层转码器各层重建难度并不相同，中间层明显更难。 在Qwen3-8B-Base上，潜在特征数32768、每token 360个激活时，验证集FVU为27.07%，逐层TopK为27.64%；在第15至19层，逐层TopK的FVU超过40%，跨层TopK把这几层降低1.3至1.6个百分点。
做法是把所有层的潜在特征按一个分数放在一起排序，只保留全局最大的K个，K等于层数乘以每层预算。 分数取整流后的预激活值乘以该特征写入后续各层解码权重的范数，衡量这个特征总共能写出多少输出。 训练在Qwen3-8B-Base的MLP输入输出激活上进行，激活取自Olmo 3语料，训练3.2B token，潜在特征数32768，每token预算K为360。
固定每token激活数让稀疏解码可以直接套用，编码器按特征轴切分、解码器按模型维度切分，各卡之间只交换这K个激活。 JumpReLU的激活数随token变化，需要监控L0再切换稠密与稀疏解码；跨层TopK的激活数由构造决定，无需监控。 在128块GPU、批大小8192、每层预算k为10的设置下，融合gather、缩放与求和的embedding_bag核把每步时间从1.025秒降到0.355秒，计算时间减少65%，通信时间减少67%。
启示与展望
演示范围是Qwen3-8B-Base的36层激活，潜在特征数32768，每token预算360，训练3.2B token；电路分数在100条留出验证提示上统计，训练速度在128块GPU、批大小8192、每层预算10的设置下测得。作者提到受算力限制未能扩展到更大规模。
作者指出跨层转码器的解码器随层数平方增长，每次训练消耗大量算力，这也是未能扩展到更大规模的原因；缩放律指数与TopK SAE在相近范围内的结果同量级，但只在潜在特征数2的13次方到2的15次方、每层预算5到20的范围内拟合。