Mitchell Ostrow

雅可比透镜（J-lens，一种把模型隐状态解码成词的可解释性工具）此前被用来寻找类似工作记忆的线性方向，但没人说清它究竟按什么标准挑方向。这项工作给出一个数学理论：透镜优先选出在层间增长、在词位置上平滑、在不同上下文中一致的方向，也就是相干性高的李雅普诺夫模式。在贝叶斯滤波器和一个两层玩具 Transformer 上，调节任务参数改变相干性，透镜选出的潜在状态排序随之按预测改变。

雅可比透镜（J-lens，一种把模型隐状态解码成词的可解释性工具）此前被用来寻找类似工作记忆的线性方向，但没人说清它究竟按什么标准挑方向。这项工作给出一个数学理论：透镜优先选出在层间增长、在词位置上平滑、在不同上下文中一致的方向，也就是相干性高的李雅普诺夫模式。在贝叶斯滤波器和一个两层玩具 Transformer 上，调节任务参数改变相干性，透镜选出的潜在状态排序随之按预测改变。