神经网络不再靠人搭学习机制:随机连接按简单规则自组织,图像分类追平反向传播网络
核心概要
MIT 团队让随机连接的神经网络只靠“同时激活就加强连接”这类简单规则自组织出学习机制,在图像分类上追平按反向传播设计的网络。
深度剖析
人工神经网络可以自己搭出学习机制,而不必由开发者事先设计好连接和学习规则。 此前判断一个网络对神经科学有多大价值,看的是它完成任务的效果,网络结构由外部设计者搭好。 MIT 麦戈文研究所与 K. Lisa Yang 整合计算神经科学中心的研究者让一组随机连接的单元在简单规则下重塑自身,最终能识别模式并对图像分类。
网络从多层随机互连的类神经元单元出发,同一层内每个单元遵循同一套连接调整规则,单元之间只靠这套规则相互作用,随后涌现出可用的行为。 这套规则对应的是被认为在人和动物学习时改写脑回路的那类简单规则,例如“同时放电的神经元连在一起”。 学习由按简单规则自组装出来的基元承担,这些基元再充当功能回路的构件,并随学习过程重组。
网络重组连接时用的是一种与多数现代机器学习系统内置策略相近的优化方式,即梯度下降,也就是根据误差逐步调整连接以改善表现。 现代 AI 大多通过反向传播的某种形式实现梯度下降,而神经科学家认为大脑不太可能使用反向传播。 团队把自组织网络与按反向传播方式设计的网络作对比,发现前者表现处于相近水平。
启示与展望
这项工作面向关心大脑如何学习的神经科学家,以及想从生物规则中寻找网络设计思路的工程师。作者把自组织称为第一个高层次框架,认为先把自组织作为衡量标准做好,才谈得上下一步。作者还提到,理解神经元之间相互作用的规则,是脑机接口等应用的前提。
作者明确表示,自组织网络不一定以与大脑相同的方式学习,它只是生物合理性的一个关键起点。作者也把自组织定位为第一个高层次框架,而非终点。作者提出,如果所设想的突触基元确实是大脑用来完成反向传播所做之事的方式,机器与大脑之间才会有强连接,这一条件仍是假设。
