主题模型不再只给词表：改用大模型激活方向，短文本与抽象诗歌上更贴题

主题模型的主题不再由词表描述，而是由大模型内部激活空间中的可解释方向描述，因此能表达风格、语气、话语模式这类词共现难以覆盖的抽象概念。 此前的主题模型把文档当作词袋计数，神经变体虽用预训练嵌入，仍把主题表达为按重要性加权的词表。 在八个数据集上，主题评审在十六个数据集与表示组合中的十四个给出最高分，四十八次模型两两比较中四十二次优于对应的词模型。

做法是把文档转成稀疏自编码器特征的计数，再让主题模型在这些特征上学习主题与文档的主题比例。 稀疏自编码器是单层网络，从大模型激活中重建激活并稀疏化，其解码器列向量即特征方向，特征方向可由大模型自动生成文字描述。 实验用 Gemma 2-9B 第 10 层的 16k 稀疏自编码器，特征描述取自 Neuronpedia，主题数在最小数据集上取 50、其余取 100。

学到的主题还能构成转向向量，在生成时按强度调节目标主题的表达。 转向向量按主题特征权重加权特征方向并归一化，生成时先去掉激活中与转向方向平行的分量，再加入缩放后的转向向量。 八个数据集上主题相关胜率均超过 84%，Bills 上达 99%，而受转向生成的困惑度仍接近未转向基线。

报告覆盖的是主题模型在稀疏自编码器特征上的适配，以及主题评审、标准一致性与多样性指标、主题新颖性分析和转向实验。适合做文本集合探索、主题描述与按主题控制生成的研究者与工程师阅读。原文提出在目标语料上训练或微调稀疏自编码器作为缓解方向，但未给出该方向的实验结果。

原文指出主题质量对稀疏自编码器的层选择、训练数据以及自动生成特征描述的准确性敏感，若特征与语料不相关或标签不准，主题质量可能偏低。预处理管线比词模型更重，需要能容纳大模型与稀疏自编码器的 GPU，特征过滤另需一次大模型调用。Bills 数据集在 TopFeatures 表示下三个词模型都高于对应机制模型，作者归因于评审认为特征描述不如关键词具体；mBERTopic 在 PoemSum 与 WritingPrompts 上出现主题重叠，多样性降至 0.38 与 0.36。