花粉显微识别不再让所有通道走完整热传导:参数减14.9%,吞吐反升9.9%
核心概要
花粉显微图像识别要在细微的种间差异和明显的种内变化之间找平衡,而基于热传导算子的视觉骨干 vHeat 对全部通道都执行完整的二维热扩散变换,计算开销偏大。针对这一冗余,研究把部分通道改走轻量局部分支,并在离散余弦变换域对中后段频率响应施加受控保留约束,再按网络深度分阶段配置两组比例。在自建 Pollen149 上,参数从 30.20M 降到 25.69M、FLOPs 从 4.94G 降到 3.97G,Top-1 仅下降 0.19 个百分点,吞吐从 924.15 升到 1015.27 张/秒。
深度剖析
花粉识别模型可以在不改变分类流程的前提下,把完整热传导计算只留给一部分通道,从而同时压低参数量和浮点运算量。 此前的 vHeat 骨干对每个通道都执行完整的二维热扩散变换,即先做离散余弦变换、再做频域调制、最后逆变换重建。 在 Pollen149 上,分阶段配置把参数从 30.20M 降到 25.69M、FLOPs 从 4.94G 降到 3.97G,Top-1 从 96.20% 降到 96.01%,只差 0.19 个百分点。
通道分流与频域约束按网络深度分别设定比例,比在所有阶段用同一套比例更划算。 统一比例的通道分流把 Top-1 拉到 95.66%,统一比例的通道分流加频域约束进一步降到 95.45%。 分阶段配置在相近计算预算下取得 96.01% 的 Top-1,吞吐 1015.27 张/秒、延迟 0.9850 毫秒,而原始 vHeat 为 924.15 张/秒和 1.0821 毫秒。
实现方式是把输入特征沿通道维切开,一部分走完整热传导分支,其余走深度可分离卷积加 GELU 的轻量局部分支,两路输出拼接后保持原通道数。 完整热传导分支原本承担全部通道的全局交互,轻量分支只做局部变换,计算代价明显更低。 频域一侧在热扩散调制之后、逆变换之前插入低频保留掩码,浅层用保守设置保留边缘纹理,中后层用更强约束,具体比例由消融实验按精度与效率的权衡选定。
启示与展望
结果覆盖自建扫描电镜数据集 Pollen149(29,018 张 224×224 图像、51 科 149 种)以及新西兰花粉数据集和 CPD-1 两个公开花粉数据集,面向需要批量处理显微图像的花粉识别场景。作者提出后续可改进部分热路由与频率约束在不同硬件平台上的执行效率,并探索更灵活的通道路由与频率约束。
实测加速小于理论计算量削减:FLOPs 降 19.6%,吞吐只提升约 9.9%、延迟下降约 9.0%,作者将其归因于访存、算子实现与 GPU 利用率等因素。频率约束仍可能压制有用的高频显微细节,如表面纹饰、孔沟和局部突起;三个随机种子下最终配置为 95.90±0.11%,原始 vHeat 为 95.93±0.31%,两者均值相当。
