元学习网络学会“加减”函数：把两个已适应网络相减再相加，新网络未经训练就实现目标函数
核心概要
元学习（先用大量相关函数训练网络，使其更容易学会同类新函数）得到的初始化，让网络快速适应后的参数向量之间出现可加减的几何关系。在ABgeom序列生成任务上，随机初始化Transformer训练五步后平均F-score仅0.062，而元学习初始化一步即达1.00；把已适应网络的参数向量按符号类比相减再相加，所得网络未经直接训练，在100个类比上平均F-score为1.00。这一现象在Transformer与LSTM、三个函数域上均出现，但类比只在单个初始化附近成立。
深度剖析
元学习调好的网络初始点，使网络快速适应后到达的参数向量之间出现可做加减的几何关系，按函数间的符号类比重组这些向量，能得到实现目标函数的新网络。 此前已知这类元学习网络能快速学会新函数，但初始参数里究竟编码了什么、使快速学习成为可能并不清楚；随机初始化的网络在同一任务上则学得很慢。 在ABgeom序列生成任务上，随机初始化Transformer训练五个批次后平均F-score为0.062，元学习初始化一步即达1.00，两者均在400个目标函数和10个网络实例上平均。
做法是把每个已适应网络的参数摊平成一个向量，当作它所实现函数的表示，再按“A之于B如同C之于D”的符号关系写出向量加减式，直接构造新网络的参数。 这一检验借用了词向量中“king减man加woman约等于queen”的加法类比思路，但把对象从词表示上移到整个函数的实现。 在ABgeom上随机生成100个只改变一个词法分量的类比，重组所得网络平均F-score为1.00，在10个元学习Transformer上平均；在Transformer与LSTM、ABgeom、ABparity、ABlength三个函数域的组合上，重组网络的平均F-score均明显高于随机水平。
这种几何结构只在单个元学习初始化附近成立，跨两个不同初始化写出的类比全部失败。 若结构来自架构或任务本身的全局组织，不同初始化之间应当可以互换使用同一差值向量。 跨初始化类比的平均F-score为0，且不同LSTM实例在ABlength上自发采用了不同的句法表示。
启示与展望
结论建立在Transformer与LSTM两种架构、ABgeom、ABparity、ABlength三个合成序列生成函数域上，每个设置使用10个元学习初始化，类比性能以采样序列的F-score衡量。适合关注元学习、少样本适应与表示几何的研究者阅读；把方法扩展到更丰富函数域，需要能在不预设函数关系的前提下发现参数空间几何结构的手段。
每个类比只检验一种关于函数域如何被几何表示的假设，类比失败不能推出不存在其他几何结构；作者用取多种句法表示最大值的平均F-score缓解这一点，但承认无法穷举所有表示。几何结构是否对快速学习起因果作用，仍需后续工作直接检验。