Mamba做RGB-D显著性检测会丢细节:补上液态时间常数与频域融合,五个基准排名第一
核心概要
RGB-D显著性检测长期在CNN的有限感受野与Transformer的二次开销之间取舍,Mamba以线性复杂度做全局建模,却因把二维特征摊平成一维序列而丢失局部结构。LWNet在VMamba主干上加入视觉液态时间常数模块,用输入相关的衰减速度恢复被扫描削弱的局部细节,再用跨模态小波融合把RGB与深度特征拆成低频与高频分量分别对齐。在STERE、NLPR、NJU2K、DUTLF、SIP五个基准上与18种方法比较,LWNet在五个数据集上的排名均为第一。
深度剖析
RGB-D显著性检测多了一条不靠CNN或Transformer主干的路:用Mamba做全局上下文,再专门把扫描过程中丢掉的局部结构补回来。 此前这类任务的主干要么是感受野受限的CNN,要么是计算开销高昂的Transformer;Mamba以线性复杂度提供全局建模,但把二维特征图摊平成一维序列会切断相邻像素的空间相关性,其固有的平滑效应也会削弱边缘等高频信息。 在STERE、NLPR、NJU2K、DUTLF、SIP五个基准上与18种方法比较,LWNet在五个数据集上的排名均为第一;在STERE上其MAE为0.029,Sα为0.922。
局部细节的恢复交给一个把特征提取当作连续状态演化来解的模块,每个像素按自身邻域的复杂度决定更新快慢。 视觉液态时间常数模块(Vi-LTC)把原本只处理向量输入的液态时间常数网络扩展到二维视觉建模,用卷积算子重写微分方程求解器,并以显式欧拉法迭代。 在NJU2K与DUTLF上的消融显示,单流VMamba主干加逐元素相加融合的基线在NJU2K上Fβ为0.932、MAE为0.034,加入Vi-LTC后升至0.940与0.029,再加入CMWF后达到0.945与0.023。
跨模态融合不再只在一个域里做,而是把RGB与深度特征拆成低频与高频分量分别对齐。 跨模态小波融合模块(CMWF)分成两支:小波变换支路用离散小波把特征分解为低频与高频子带,经逆变换重建以保留边缘;状态空间支路负责全局语义与单模态增强。 在DUTLF上把CMWF换成HINet与EATNet的融合策略,LWNet的Fβ为0.963、MAE为0.019,高于HINet的0.951与0.024、EATNet的0.950与0.025,参数量40.9M、FLOPs 64.5G。
启示与展望
演示范围是五个自然图像RGB-D显著性基准与两个遥感基准;遥感数据集不含深度图,评测时移除深度支路、只保留小波分量。训练输入统一缩放到352×352,使用单张GeForce RTX 4080。
Vi-LTC的精度随求解器精度变化,RK4在NJU2K上Fβ为0.942、高于欧拉法的0.938,但FLOPs从5.7G升到14.3G;S-LTC在7.3G下取得0.945。失败案例集中在RGB目标内部高对比而深度图质量差、以及RGB与背景低对比且深度图同样差的情形。
