Yuefeng Xu

分块蒸馏式架构搜索把每个替换块的单独得分相加来挑选子网络，这一加法假设此前很少被直接检验。在DeiT-S与DeiT-B上，延迟预算从60%降到55%时，加法整数线性规划微调后的精度开始明显落后于建模块间交互的成对整数二次规划，ImageNet-100上差距为3.3–16.6个点。误差可拆成只由得分非线性带来的度量项和真正的功能交互项，前者在DeiT-S上占多数、后者在DeiT-B上占多数；一种用单块logit预测排序、只实测少量候选的混合搜索无需专门测量块对，在ImageNet-1k的14个设置中有13个显著优于成对搜索。

分块蒸馏式架构搜索把每个替换块的单独得分相加来挑选子网络，这一加法假设此前很少被直接检验。在DeiT-S与DeiT-B上，延迟预算从60%降到55%时，加法整数线性规划微调后的精度开始明显落后于建模块间交互的成对整数二次规划，ImageNet-100上差距为3.3–16.6个点。误差可拆成只由得分非线性带来的度量项和真正的功能交互项，前者在DeiT-S上占多数、后者在DeiT-B上占多数；一种用单块logit预测排序、只实测少量候选的混合搜索无需专门测量块对，在ImageNet-1k的14个设置中有13个显著优于成对搜索。