Lithuanian University of Health Sciences

该工作提出，皮层-丘脑回路适合实现多头自注意力与交叉注意力：第2/3层锥体细胞维持循环的键-值记忆，第5层锥体细胞解码由传入查询检索到的记忆，键、值和查询的计算映射到核心与矩阵丘脑-皮层投射并分布于皮层区的微柱与宏柱，一个皮层区构成一个注意力头、皮层构成多头自注意力网络，同一丘脑-皮层微回路还计算引导梯度式突触可塑性的感觉预测误差，而奖赏预测误差经基底神经节门控皮层输出与海马记忆的再激活，训练后的网络与人类言语感知的颅内记录相符。

该工作提出，皮层-丘脑回路适合实现多头自注意力与交叉注意力：第2/3层锥体细胞维持循环的键-值记忆，第5层锥体细胞解码由传入查询检索到的记忆，键、值和查询的计算映射到核心与矩阵丘脑-皮层投射并分布于皮层区的微柱与宏柱，一个皮层区构成一个注意力头、皮层构成多头自注意力网络，同一丘脑-皮层微回路还计算引导梯度式突触可塑性的感觉预测误差，而奖赏预测误差经基底神经节门控皮层输出与海马记忆的再激活，训练后的网络与人类言语感知的颅内记录相符。