分块蒸馏搜索的加法假设在55%延迟预算处断裂：成对搜索领先3.3–16.6个点
核心概要
分块蒸馏式架构搜索把每个替换块的单独得分相加来挑选子网络，这一加法假设此前很少被直接检验。在DeiT-S与DeiT-B上，延迟预算从60%降到55%时，加法整数线性规划微调后的精度开始明显落后于建模块间交互的成对整数二次规划，ImageNet-100上差距为3.3–16.6个点。误差可拆成只由得分非线性带来的度量项和真正的功能交互项，前者在DeiT-S上占多数、后者在DeiT-B上占多数；一种用单块logit预测排序、只实测少量候选的混合搜索无需专门测量块对，在ImageNet-1k的14个设置中有13个显著优于成对搜索。
深度剖析
分块蒸馏搜索的加法假设在激进压缩下会失效，失效点落在块延迟预算从60%降到55%之间。 此前DNA、DONNA、LANA和Puzzle等方法把每个候选替换块单独打分，再用整数线性规划把得分相加来组装子网络，这一加法前提很少被检验。 在DeiT-S和DeiT-B上，每层7个替换块、7档延迟预算、每个搜索网络3个微调种子，用配对自助置信区间比较：55%–40%预算下加法搜索在ImageNet-100上落后成对搜索3.3–16.6个top-1百分点，而70%–60%时差距至多1.2个点。
加法误差可以拆成两部分：一部分来自得分本身对logit变化的非线性，另一部分来自块与块之间真实的非加性交互。 成对测量此前被当作一个整体交互项使用，没有区分其中有多少只是打分函数的曲率。 度量项可直接由缓存的单块logit算出、无需额外网络评估，它在DeiT-S上占平均KL误差的59–65%，而功能项在DeiT-B上占73–76%。
一种混合搜索先用单块logit之和预测候选移动的优劣，再只对排名靠前的少数候选做真实测量，从而省去专门的块对测量阶段。 成对整数二次规划需要测量1,389个块对，在5,000张图上相当于690万次前向图像评估。 混合搜索在ImageNet-100上14个设置中7个显著优于成对搜索、6个无显著差异、1个显著落后；在完整ImageNet-1k上13个显著更优、1个无显著差异，其前向图像开销为成对阶段的13–27%。
启示与展望
结论在DeiT-S和DeiT-B上得到验证，替换库为每层7个候选块，延迟预算覆盖父网络块延迟的70%到40%，延迟在单块RTX 5090上测得；ImageNet-100实验的子网络只在100类上微调，val1k仅作次要指标，完整ImageNet-1k实验则以1000类微调并在5万张官方验证图上评估。
每个预算下每种搜索只运行一次，置信区间以三次微调运行为条件，且未做多重比较校正；混合搜索的开销随预算数量增长，而成对搜索的块对表可跨预算复用，按每预算平均开销推算约26–52个预算后两者累计成本相当。ImageNet-100上的更强搜索与微调感知打分研究未扩展到完整ImageNet-1k。