连续思维机器分类图像时并不逐图搜索：它沿一条几乎共享的定点曲线走，注意力表也基本通用

连续思维机器（CTM，一种循环网络，靠神经元之间的同步程度做预测）在ImageNet上做分类时，内部状态并不是在每张图上各走一条独立路径，而是沿着一条随节拍移动的吸引定点曲线前进，这条曲线的大部分运动对所有图像是共用的。 此前只知道CTM在多个任务上表现出未被解释的涌现行为，包括神经元上低频的行波，但内部轨迹究竟是什么对象并不清楚。 在官方ImageNet检查点上不再训练，冻结记忆后把单个节拍当作普通映射迭代，在来自若干图像的图像–节拍对中收敛到定点，其雅可比谱半径中位数远低于1，最大不超过约0.9，因此每个节拍存在局部唯一吸引定点。

这条曲线之所以会移动，是因为记忆每个节拍都在更新，于是目标点不断改变，状态总是落后一步地追着它走。 若记忆固定，一个节拍就是普通映射，状态会收敛到唯一吸引定点；但实际推理中记忆随节拍变化，定点因此不断被重新定义。 状态到上一节拍定点的平均距离比到当前定点的距离小约七倍（约0.05对约0.35，覆盖若干图像），偏移方向沿定点自身运动方向，长度约为该运动的一整步。

模型看哪里基本是一套与图像无关的通用安排，图像自身只决定这套安排落在哪些特征上。 此前注意力轨迹被认为是通过训练涌现、视觉上呈现多样多尺度动态，并未说明其中有多少是图像特有的搜索。 把每张图在每个节拍的查询换成其他图像的查询，分类准确率只损失约7%；用总体平均查询替换后仍能以余弦约0.99复原该图自己的注意力图，而用当前查询加共享平均增量可在留出图像上以余弦约0.9预测下一张注意力图。

分类所需的类别信息从第一个节拍起就搭在这条曲线上，类别之间不是占据曲线不同区域，而是沿同一条曲线横向错开。 由于所有轨迹从同一个学习到的初始状态出发，类别身份只能在途中进入曲线，此前并未定位它何时、以何种方式进入。 在每类若干验证图像的样本上，线性探针在第一个节拍就能从定点解码类别，准确率高于状态和读出记忆，也高于图像特征库的均值；共享曲线承载约97%的方差，类别偏移约2%，且这些偏移的方差几乎全部落在曲线前两维平面之外。

结论来自官方ImageNet检查点，不再训练，评估在验证集的一个子样本上进行，除类别身份分析使用每类若干图像外，其余ImageNet结果都基于该子样本或其子集。分析对象是图像分类，方法是在冻结记忆后把单个节拍当作普通映射来定位和线性化定点。读者若关心其他任务或其他检查点，需要另行验证；材料没有提出下一步实验。

定点迭代在约10%的图像–节拍对上未能在给定步数内收敛，这些对没有可分析的定点并被排除在谱统计之外。非正态性用逐定点比值的中位数报告，该比值随节拍右偏，因此高于边际中位数之比。平衡放大的功能角色仍未被确定，行波与注意力安排之间也未发现超过置换零假设的耦合。结果限于一个检查点、验证图像子样本和图像分类。