训练结果为何总也复现不了：吸引域像“千层酥”一样互相穿插，精度再高也换不来可预测

训练结果的不确定性被归到一种几何结构上：通往不同解的初始化在参数空间里任意接近地交错，任何一次初始化附近都存在通向别的解的起点。 此前的工作多把不可复现归因于随机初始化、小批量顺序、数据增强和GPU数值误差等外部随机源，而把一位比特的扰动就能造成与多种噪声叠加相当的差异这一现象留作未解释。 在一个两层网络的最小模型中，学习率取2.5时，置换不变平面上的混沌吸引子纵向Lyapunov指数为0.1564和0.0256，横向指数为−0.0645和−0.2047，满足“千疮百孔吸引域”的理论条件。

这种几何让可预测性存在一个与精度无关的下限：把初始化精度提得再高，也无法可靠地预测训练会落到哪个解。 此前的可训练性边界是零测度的“瘦”分形，只要把初始条件的不确定性压得足够小，预测就能恢复；而这里的分形具有正测度，边界与吸引域不可分离。 最小模型中不确定性指数为0.0126±0.0002，意味着初始不确定性要缩小近24个数量级才能使结果不一致的比例减半；在VGG-12等深度网络上，CPU与GPU两种平台拟合出的参数空间指数均为0.000±0.002。

不可复现不只停留在参数层面，还延伸到网络学到的输入输出函数本身，因此换一组参数表示同一函数并不能消除差异。 参数空间不可复现并不自动意味着函数空间不可复现，因为对称性允许不同参数配置表示同一函数，线性网络甚至会收敛到与初始化无关的解。 在VGG-12的代表性设置中，函数不确定性指数为0.00±0.01，churn（两个网络预测不同的输入所占比例）在初始化精度提高时停在约2.9%；在文献中的32种函数相似度度量上结果一致。

结论建立在两层网络最小模型的解析与数值分析，以及VGG-12、ResNet、BERT等受算力约束的缩小配置上；代表性深度网络实验使用带50%标签噪声的MNIST，并以固定小批量顺序和CPU计算保证确定性。函数不确定性指数被定位为面向实际架构的诊断工具，用于判断训练配置是否处于类千疮百孔区间。

作者把千疮百孔的吸引域几何称为不可复现性的“候选”组织原则，而非已确立的普遍机制；在最小模型中，随学习率增大还观察到从无千疮百孔、伪千疮百孔、真正千疮百孔到瞬态千疮百孔的相变序列。对称性破除虽可缓解初始化依赖，但由此得到的吸引域几何尚未被刻画，因为训练终点不再能通过神经元匹配或消失来识别。性能与不可复现性为何常在最优学习率附近重合，以及能否与泛化界建立解析联系，仍是开放问题。