# 雅可比透镜

雅可比透镜（J-lens，一种把模型隐状态解码成词的可解释性工具）此前被用来寻找类似工作记忆的线性方向，但没人说清它究竟按什么标准挑方向。这项工作给出一个数学理论：透镜优先选出在层间增长、在词位置上平滑、在不同上下文中一致的方向，也就是相干性高的李雅普诺夫模式。在贝叶斯滤波器和一个两层玩具 Transformer 上，调节任务参数改变相干性，透镜选出的潜在状态排序随之按预测改变。

雅可比透镜（J-lens，一种把模型隐状态解码成词的可解释性工具）此前被用来寻找类似工作记忆的线性方向，但没人说清它究竟按什么标准挑方向。这项工作给出一个数学理论：透镜优先选出在层间增长、在词位置上平滑、在不同上下文中一致的方向，也就是相干性高的李雅普诺夫模式。在贝叶斯滤波器和一个两层玩具 Transformer 上，调节任务参数改变相干性，透镜选出的潜在状态排序随之按预测改变。

预填充越狱通过在助手回复开头强行写入一段前缀，让本应拒绝的模型继续生成有害内容。研究者在雅可比透镜给出的词表语义空间里追踪发现，随着前缀加深，拒绝信号比有害性信号衰减得更快，到自由生成开始时已接近良性基线。据此设计的J-Anchor不训练、不改权重，以攻击前助手头位置的信号为每个请求设定锚点，只在前缀处理和后续解码中补回低于目标的拒绝分量，在四个开源指令模型上把固定与深度预填充攻击的成功率压到很低，同时良性拒答率和推理成绩接近原模型。

预填充越狱通过在助手回复开头强行写入一段前缀，让本应拒绝的模型继续生成有害内容。研究者在雅可比透镜给出的词表语义空间里追踪发现，随着前缀加深，拒绝信号比有害性信号衰减得更快，到自由生成开始时已接近良性基线。据此设计的J-Anchor不训练、不改权重，以攻击前助手头位置的信号为每个请求设定锚点，只在前缀处理和后续解码中补回低于目标的拒绝分量，在四个开源指令模型上把固定与深度预填充攻击的成功率压到很低，同时良性拒答率和推理成绩接近原模型。