雅可比透镜为何偏爱慢变特征：理论把它的选择写成三个相干性因子，并在玩具模型上预测排序
核心概要
雅可比透镜（J-lens，一种把模型隐状态解码成词的可解释性工具）此前被用来寻找类似工作记忆的线性方向，但没人说清它究竟按什么标准挑方向。这项工作给出一个数学理论：透镜优先选出在层间增长、在词位置上平滑、在不同上下文中一致的方向，也就是相干性高的李雅普诺夫模式。在贝叶斯滤波器和一个两层玩具 Transformer 上，调节任务参数改变相干性，透镜选出的潜在状态排序随之按预测改变。
深度剖析
雅可比透镜挑选的不是方差最大的方向，而是同时具备三种相干性的方向：沿层方向增长、沿词位置平滑、跨上下文一致。 此前该透镜被用来识别前沿语言模型中类似工作记忆的线性方向，但哪些机制性质让特征被它检出并不清楚。 理论把透镜的奇异值写成三个相干性因子的乘积，并据此解释原始工作中 J-space 只占激活方差不超过 10% 的现象。
透镜对每个词位置方向做的是对滞后求平均，等价于在时间窗口上取零频分量，因此快速衰减或快速振荡的响应被压低。 单点雅可比只描述局部邻域的扰动响应，而透镜对提示、词位置和未来位置取平均，平均后的矩阵未必像其中任何一个。 在贝叶斯滤波器上，三个潜在状态分别取速度 0、1 和 4（环上 8 个状态），透镜按滞后相干性预测的顺序识别它们，Transformer 上各随机种子结果一致。
改变任务参数可以独立调节三个相干性，透镜选出的潜在状态排序随之改变，两个潜在状态交换次序的位置也能被理论预测。 此前缺少可操控的对照，无法判断透镜的偏好来自任务结构还是模型本身。 在贝叶斯滤波器上理论精确预测两个潜在状态的交叉点；在 Transformer 上预测带有小偏差，且两层偏差方向相反。
启示与展望
验证范围是隐马尔可夫模型上的贝叶斯滤波器和一个两层、残差维度 128、每层 4 个头的解码器 Transformer，任务较易学习且相干性参数可直接操控。理论本身针对一般的时空动力系统，但数值对照没有超出这一玩具设定。
理论明确不判断这些性质是否对应“全局工作空间”。上下文相干性扫描中透镜噪声更大，两层 Transformer 都压缩了上下文相干性的取值范围，且部分透镜方向对齐到揭示状态和键状态而非潜在信念状态。Transformer 上的交叉点预测存在小偏差，两层方向相反。