Zhuolin Fu

Transformer 的注意力被解释为在逐样本变化的马尔可夫随机场上做最大积置信传播，层与层之间的参数跳变则充当 EM 的参数更新步，这一视角把自注意力、专家混合、门控单元和选择性状态空间模型归入同一类由输入生成参数的元模型。

Transformer 的注意力被解释为在逐样本变化的马尔可夫随机场上做最大积置信传播，层与层之间的参数跳变则充当 EM 的参数更新步，这一视角把自注意力、专家混合、门控单元和选择性状态空间模型归入同一类由输入生成参数的元模型。