训练中的神经网络先分化再复相干：数据约束图连通后，学习状态仍在重组

训练中的神经网络不只是把训练标签拟合掉，它学到的那个布尔函数本身会经历两个方向相反的重组阶段。 此前对学习过程的刻画主要看准确率，而准确率相同的模型在未见输入上可以给出不同预测，因此准确率不足以确定学到的函数。 在11位奇偶校验任务上，24条训练轨迹中有效Schmidt秩在归一化进度约0.6处达到峰值，到泛化起点又回落，两个方向的变化在全部24个随机种子里都出现。

把训练集读成一张带符号的二部图后，数据能固定哪些相对符号就有了明确判据，而这张图的连通性只随数据单调增长。 重复的数据点只是重复已有边，不改变图；只有此前未见过的输入才会占用新边、合并连通分量。 在10,000组随机加数据序列中，左侧32个子串全部落入同一分量的概率在加入约128个数据点附近达到一半，而全部96个顶点连通要到约256个数据点附近。

在已经连通的固定图上，学习状态的重组有先后次序：相关强度先变，随后才对齐目标，最后才体现在预测准确率上。 此前非单调的测试误差常被归因于不同模式以不同速率学会，这里直接跟踪学到的函数本身。 在25个起始模型的对照分支中，纯度对比的误差条在更新第5步首次全为正，目标模布居在第200步，块准确率对比要到第400步。

同一个固定图上，已经学好的低秩、目标选择性组织可以丢失再恢复，但恢复后的符号表与丢失前并不完全相同。 24个首次退却事件中，平均有效Schmidt秩从last-high的约1.5升到退却点的约3.5，20个有恢复检查点的事件中又降回约1.5。 在20个恢复事件、80个恢复输出态上，函数保真度的平方平均约为0.9，且每一个都严格小于1。

结果针对有限长度二进制串上的奇偶函数，由Transformer学习，并在固定切分下按长程输出位置平均。作者预期分化到复相干的交叉会随串长移动，就像约束图的连通阈值那样，更长的二进制串可以检验这一点；改变架构和目标函数则用来检验这些动力学是否在更广的学习设定中持续存在。

作者指出，人类学习是否共享同一机制仍是开放问题。恢复能重建相似的低秩、目标选择性组织，但每个恢复后的符号表都留有残余差异，函数保真度平方始终小于1。这些结果来自有限系统，向更大系统的推广只是预期。