# 元学习

元学习（先用大量相关函数训练网络，使其更容易学会同类新函数）得到的初始化，让网络快速适应后的参数向量之间出现可加减的几何关系。在ABgeom序列生成任务上，随机初始化Transformer训练五步后平均F-score仅0.062，而元学习初始化一步即达1.00；把已适应网络的参数向量按符号类比相减再相加，所得网络未经直接训练，在100个类比上平均F-score为1.00。这一现象在Transformer与LSTM、三个函数域上均出现，但类比只在单个初始化附近成立。

元学习（先用大量相关函数训练网络，使其更容易学会同类新函数）得到的初始化，让网络快速适应后的参数向量之间出现可加减的几何关系。在ABgeom序列生成任务上，随机初始化Transformer训练五步后平均F-score仅0.062，而元学习初始化一步即达1.00；把已适应网络的参数向量按符号类比相减再相加，所得网络未经直接训练，在100个类比上平均F-score为1.00。这一现象在Transformer与LSTM、三个函数域上均出现，但类比只在单个初始化附近成立。

一个在合成Wiener-Hammerstein系统上离线预训练的元模型，可直接从新系统的输入输出片段零样本预测输出，在非线性辨识基准上取得与主流方法相当的精度，且只微调输入侧就能把分布外连续搅拌反应器的预测误差从1.249降到0.242。

一个在合成Wiener-Hammerstein系统上离线预训练的元模型，可直接从新系统的输入输出片段零样本预测输出，在非线性辨识基准上取得与主流方法相当的精度，且只微调输入侧就能把分布外连续搅拌反应器的预测误差从1.249降到0.242。

该工作指出把选择网络直接嵌入现有元学习训练数据选择（MTS）目标会因权重抑制和对易学特征的持续依赖而导致优化不稳定与泛化差，并提出基于 Pointwise Value Matching（PVM）目标的可扩展数据选择框架 TESS，在 LLM 安全与定向指令微调实验中显示从子集到全语料、从较小模型到较大模型的强迁移。

该工作指出把选择网络直接嵌入现有元学习训练数据选择（MTS）目标会因权重抑制和对易学特征的持续依赖而导致优化不稳定与泛化差，并提出基于 Pointwise Value Matching（PVM）目标的可扩展数据选择框架 TESS，在 LLM 安全与定向指令微调实验中显示从子集到全语料、从较小模型到较大模型的强迁移。