跳到主要内容
检索

# 误差分解

2 篇关联报道

订阅更新
  1. arXiv

    分块蒸馏搜索的加法假设在55%延迟预算处断裂:成对搜索领先3.3–16.6个点

    分块蒸馏式架构搜索把每个替换块的单独得分相加来挑选子网络,这一加法假设此前很少被直接检验。在DeiT-S与DeiT-B上,延迟预算从60%降到55%时,加法整数线性规划微调后的精度开始明显落后于建模块间交互的成对整数二次规划,ImageNet-100上差距为3.3–16.6个点。误差可拆成只由得分非线性带来的度量项和真正的功能交互项,前者在DeiT-S上占多数、后者在DeiT-B上占多数;一种用单块logit预测排序、只实测少量候选的混合搜索无需专门测量块对,在ImageNet-1k的14个设置中有13个显著优于成对搜索。

  2. arXiv

    聚合扩散方程不再逐点离散:把速度场交给神经网络,质量与正性自动守住

    聚合扩散方程现在可以改写成以速度场为控制变量的约束最优控制问题,用神经网络参数化速度场、沿粒子轨迹评估变分目标,从而在无需网格的情况下保持质量守恒与密度正性。此前的结构保持格式多依赖网格离散,计算与内存随空间维度快速上升;该框架把总误差拆成神经逼近、优化、蒙特卡洛采样与时间离散四部分并给出相应界,在Doi-Onsager、Patlak-Keller-Segel、多孔介质与Fokker-Planck等模型上做了数值验证。

已读完全部报道