相机被雨夜和模糊拖累时,融合层学会少信它一点:nuScenes雨天子集mAP提高1.41
核心概要
相机与激光雷达的鸟瞰图融合在相机画面退化时容易把损坏纹理当成有用证据。DARFusion把融合改成对两种模态可信度的估计:先用学到的可靠性线索校准特征,再用校准后的特征、任务驱动上下文和由相机鸟瞰图特征导出的紧凑退化描述子决定相机证据该用多少。在nuScenes干净验证集上它保持68.4 mAP和71.5 NDS,并在真实雨天与夜间子集上分别比复现的BEVFusion基线高1.41和1.31 mAP。
深度剖析
相机与激光雷达的鸟瞰图融合现在多了一道判断:相机画面还在输出,但它的证据是否可信要单独估计,而不是由特征响应强弱直接决定。 此前的融合模块按特征内容拼接或卷积,强激活就被当作有用语义;在眩光、噪声、模糊或低照度下,同样的强响应可能来自损坏纹理或传感器伪影。 在nuScenes验证集上,DARFusion把复现的BEVFusion基线从67.8 mAP、71.0 NDS提升到68.4 mAP、71.5 NDS,两者均为三个随机种子的均值。
融合权重由三样东西共同决定:校准后的两路特征、任务驱动的辅助上下文,以及一个从相机鸟瞰图特征里读出的退化描述子。 这个描述子由投影后响应图的全局激活均值、边缘响应和局部高频残差三个统计量经可学习仿射变换映射到0到1得到,不需要退化标签或图像质量监督。 在nuScenes真实雨天子集(1088个样本)和夜间子集(602个样本)上,DARFusion相对BEVFusion分别提高1.41和1.31 mAP,均高于全验证集上的0.59 mAP增益。
退化越重,融合层给相机分支的有效权重越小,这一趋势在合成夜间、运动模糊和高斯噪声三类退化上都出现。 在128个留出的nuScenes样本上,专用描述子与退化严重程度的Spearman秩相关为正,而基于幅值的相机贡献比例与严重程度的相关为负。 合成夜间、运动模糊、高斯噪声三类的描述子相关系数分别为0.70、0.65、0.55,相机贡献比例相关系数分别为-0.62、-0.57、-0.42,95%的场景自助法置信区间均不跨零。
启示与展望
评估覆盖nuScenes干净验证集、真实雨天与夜间子集、合成夜间与运动模糊与高斯噪声三类受控相机退化,以及KITTI上的九种退化设置;受控设置中激光雷达与标定参数保持不变,模型只在干净数据上训练。
退化描述子是任务驱动的条件线索,不是经过标定的物理质量测量,机制分析给出的是统计关联而非因果结论;在最强高斯噪声下两种方法接近持平,合成退化也只是真实成像退化的代理。
