稀疏自编码器引导改用信息论设计：DESSIRT在Llama与Gemma多数提问模式上胜过对比式基线
核心概要
稀疏自编码器（SAE）引导此前多靠对比激活统计挑选特征，而特征可解释性与引导效用并不必然一致。DESSIRT把每个数据集表示为SAE特征点火概率向量，用Jensen–Shannon散度衡量干预后分布与目标分布的偏离，并据此解析地构造引导向量。在七类提问模式生成任务中，Llama 3.1-8B-Instruct上DESSIRT-2在除M2外的模式上优于SDCV基线，Gemma-2-9B-IT上多数模式也更好。
深度剖析
SAE引导向量的设计从按对比统计挑特征，改为在特征点火概率分布上最小化与目标数据集的散度。 此前的SAE引导多沿用对比激活相加的思路，按数据集间特征统计差异给特征排序并加权，而特征可解释性与引导效用并不必然一致。 在七类提问模式生成任务中，Llama 3.1-8B-Instruct第16层的DESSIRT-2在除M2外的模式上优于SDCV基线，其中M3为0.970对0.900、M5为0.850对0.490、M6为0.895对0.570，格式分阈值取4.5。
做法是把数据集写成SAE特征点火概率向量，用散度对虚拟偏移做二阶展开，再在少量特征支撑上求闭式解。 Jensen–Shannon散度在这里充当目标对齐项，同一散度对通用自然语言分布的取值则作为候选特征的稳定性预算。 引导向量由SAE解码器把特征空间向量映回残差流，Llama实验在预算10和30下构造，Gemma-2-9B-IT实验固定100个SAE特征、在第20和31层、系数从-180到300以30为步长扫描。
启示与展望
实验覆盖Llama 3.1-8B-Instruct与Gemma-2-9B-IT两个模型，主引导干预分别位于Llama第16层和Gemma第20、31层；评测为七类提问模式生成任务与一个安全相关的目标—对比响应任务，文本评分由LLM-as-a-judge按自定义规则给出。
向其他干预层、模型、SAE维度与稀疏设置的迁移仍待研究；作者也未对残差流抽取点、SAE训练设置、特征选择设置、所选特征数与预算上限做穷举搜索。文本级评测依赖LLM-as-a-judge与自定义规则，可能带入模型和提示相关偏差；参考数据集由模型生成并经自动过滤，可能影响引导行为。