固定变换不必再靠猜：自适应插值变换让视觉模型只加九个参数、语言模型每层加三个参数就超过固定变换基线
核心概要
离散傅里叶变换、离散余弦变换等固定变换常用于机器学习特征提取，但选哪一种往往要先了解数据集性质，缺少这类知识时效果受限。自适应插值变换（AIT）把变换本身变成可学习参数，按数据集与任务学出数据驱动的映射。在ImageNet-2012与通用语言理解评估任务上，AIT增强的模型在从零训练和微调两种流程下都超过固定变换基线，视觉模型只增加九个参数，语言模型每个编码器层只增加三个参数。
深度剖析
变换不再由使用者按数据集性质预先选定，而是作为参数化框架的一部分随任务一起学习，视觉与自然语言处理任务都能用同一套思路。 此前的做法是从离散傅里叶变换、离散余弦变换、小波等众多变换中挑一个合适的，选择依赖对数据集性质的理解，缺少这种知识时方法效果下降。 在ImageNet-2012和通用语言理解评估任务上，AIT增强的模型在从零训练与微调两种工作流下都超过固定变换基线。
视觉模型里，AIT为每个通道学一组变换的混合，而不是对所有通道套用同一个固定变换。 AIT是一种参数化变换框架，用可学习参数把若干变换插值组合起来，从而得到贴合具体数据集与任务的映射。 这套学习发生在ImageNet-2012的视觉模型上，代价是模型只增加九个参数。
语言模型里，AIT学出数据驱动的变换组合，并保持可直接替换的兼容性。 固定变换在语言模型中的使用同样受限于预先选定的变换形式，AIT改为让组合方式由数据决定。 在通用语言理解评估任务上，每个编码器层只增加三个参数，开销可以忽略。
启示与展望
已展示的范围是ImageNet-2012上的视觉任务与通用语言理解评估中的语言任务，覆盖从零训练和微调两种工作流；新增参数为视觉模型九个、语言模型每个编码器层三个。
超出这两类基准与这两种工作流的任务是否同样受益，材料没有给出；摘要只报告了超过固定变换基线这一比较，未给出具体提升幅度。