Pulin Gong

深度学习训练结果难以复现，常被归因于随机种子、批次顺序等外部噪声。该研究把训练看作参数空间中的动力系统，提出不同解对应的吸引域彼此任意接近地交织，形成“千疮百孔的吸引域”几何。在一个两层网络的最小模型中，据此推出的不确定性指数接近零：初始精度提高近24个数量级，结果不一致的比例才减半；在约50万个深度网络训练中，参数空间与函数空间的同类指数也接近零。

深度学习训练结果难以复现，常被归因于随机种子、批次顺序等外部噪声。该研究把训练看作参数空间中的动力系统，提出不同解对应的吸引域彼此任意接近地交织，形成“千疮百孔的吸引域”几何。在一个两层网络的最小模型中，据此推出的不确定性指数接近零：初始精度提高近24个数量级，结果不一致的比例才减半；在约50万个深度网络训练中，参数空间与函数空间的同类指数也接近零。