跳到主要内容
返回时间线
arXiv来源发表:

条件流匹配也能迁移:冻结源表示之外再加一层修正,五维响应上能量差异降26.4%

核心概要

条件流匹配在目标样本有限时,可以借用相关源总体学到的协变量表示。TFM-Freeze 固定源编码器、只训练目标速度头;TFM-Adapt 在函数锚定惩罚下联合学习速度头与表示修正。在五维相关表示的模拟中,源样本量为10000时,无惩罚的 TFM-Adapt 把能量差异从 TFM-Freeze 的0.3158降到0.2325,降幅26.4%;目标验证则用于在迁移无益时退回仅用目标数据的生成器。

AI-generated editorial illustration: Knowledge Transfer for Conditional Flow Matching: Frozen Estimation and Adaptation

深度剖析

条件流匹配的迁移学习被拆成两种用法:冻结源表示,或在源表示上再学一个目标修正。 此前的共享嵌入迁移把源学到的表示固定下来,目标端只拟合一个速度头,源与目标表示不匹配的部分会一直留在目标风险里。 在五维相关表示的模拟中,源样本量为10000时,无惩罚 TFM-Adapt 的能量差异为0.2325,冻结表示的 TFM-Freeze 为0.3158,前者低26.4%。

修正不是重新学整套表示,而是在源编码器上加一个由少量上下文坐标构成的平滑残差。 TFM-Freeze 只训练目标速度头,TFM-Adapt 则联合训练目标头与残差编码器,并用函数锚定惩罚把新表示拉向源拟合。 模拟覆盖非线性充分表示、异方差响应和双分量混合响应,目标样本量固定,源样本量在网格上变化,每个设置100次独立训练重复。

目标验证在迁移无益时把生成器退回仅用目标数据的版本。 没有验证时,在源与目标表示无关的设置中,自适应迁移会出现有害重复;加入验证后每个设置至多一次有害重复。 在源样本量为10000、表示无关的设置中,两种自适应过程在三个维度上都精确回到仅用目标数据的流匹配,100次重复中无一有害。

启示与展望

演示范围是条件流匹配下的冻结迁移与函数锚定修正,模拟覆盖非线性表示、异方差和混合响应,真实数据为超导材料临界温度与钻石价格两个条件分布预测任务;验证规则针对有限个候选生成器,并要求端点支撑有界。

理论保证依赖平滑性、流正则性与可校正性等假设,常数不随环境维数增长而保持一致;在源与目标表示无关时,验证也可能拒绝有用的迁移,相关标量响应、源样本量为1000时,正惩罚与零惩罚的拟合分别只在49次和51次重复中被保留。