跨层TopK把稀疏预算交给模型分配：同等激活数下重建误差低于逐层TopK，训练每步快2.9倍
跨层转码器（CLT）要把大模型各层激活拆成可解释特征，但每层重建难度差别很大，逐层TopK给每层固定激活数并不合适。字节跳动Seed等提出的Cross-Layer TopK把全部层的潜在特征放在一起排序，每个token只保留总量固定的K个，由模型自己决定各层分多少。在Qwen3-8B-Base上，它与逐层TopK同为每token 360个激活，验证集FVU从27.64%降到27.07%，并配合稀疏解码把训练步时间缩短到原来的约三分之一。