跳到主要内容
返回时间线

可见光与红外不再一次性拼接:分三段控制模态,M3FD上mAP50到88.6%

核心概要

可见光与红外图像各自成像机制不同,直接拼接或一次性注意力融合容易把背景纹理和热干扰当成互补证据。FCI-DETR把检测流程拆成融合前保留模态结构、融合中校准跨模态响应、融合后按尺度注入红外上下文三个相连阶段,在M3FD、DroneVehicle、VEDAI和FLIR四个公开数据集上分别取得88.6%、84.3%、86.7%和81.5%的mAP50。在M3FD固定协议下,完整模型比同骨干的RGB+IR RT-DETR基线高6.0个百分点。

Source-provided article image: FCI-DETR: frequency-context interaction transformer for RGB-IR object detection
Figure 1 · 第 1 页

深度剖析

可见光与红外双模态检测被组织成一条按阶段约束的模态控制链,而不是把频率增强、跨模态融合和多尺度聚合并排堆叠。 此前的融合检测器主要在融合编码器或解码阶段处理双模态信息,对融合前模态结构是否被压缩、融合后红外上下文是否被稀释关注有限。 在M3FD同一80%/20%划分下,完整模型取得88.6% mAP50和63.7% mAP50:95,同骨干的RGB+IR RT-DETR基线为82.6%和56.5%;三次不同随机种子的重复训练给出88.5±0.2和63.6±0.2,基线为82.5±0.2和56.4±0.2。

融合前的轻量频率适配器在共享骨干的多尺度输出上为每种模态保留空间纹理与频率结构。 共享骨干或紧凑双流结构强调参数效率,弱纹理目标、小尺度边界和弱热响应区域可能在融合前就被压缩。 在M3FD消融中,单独加入该适配器把mAP50从82.6%提升到85.0%,mAP50:95达到59.0%;去掉频率分支后回落到87.0%,默认的平均化Haar设计在48.8M参数下取得88.6%。

融合中的跨模态交互模块用全局模态门控、局部互补补偿和通道序列校正重新分配双模态响应。 全局加权、局部注意力或查询级交互难以约束区域、通道和尺度上各模态的有用贡献,强背景纹理和轻微错位可能被放大。 在M3FD上依次加入全局门控、局部互补和通道校正,mAP50从85.0%升到85.7%、86.3%和86.9%,完整交互模块比不含该模块的变体高1.9个百分点。

融合后的上下文核引导融合把红外特征作为条件上下文,在自顶向下和自底向上的多尺度传播中按当前尺度状态注入。 常规颈部或编码器融合把红外信息当作融合输入的一部分,较少按尺度特征状态动态注入红外上下文。 在M3FD上仅用红外补偿分支把mAP50从86.9%提升到88.6%,比不含该模块的变体高1.7个百分点;同时使用RGB与红外两个补偿分支未进一步提升,参数增至50.3M。

启示与展望

演示范围是四个公开RGB-IR数据集上的完整模型:M3FD、DroneVehicle、VEDAI和FLIR分别取得88.6%、84.3%、86.7%和81.5%的mAP50,其中M3FD使用3360/840的公开训练/测试划分。详细的模块消融集中在M3FD,其余三个数据集主要用于完整模型评估和跨数据集分析。效率数据为RTX 3090上FP32推理、批大小1、640×640输入下测得,完整模型34 FPS、48.8M参数,不能直接当作嵌入式实时性能。跨数据集实验采用仅源域训练、固定检测头和预定义共享类别投影的零样本设置。

门控只通过检测目标优化,扰动实验测量的是检测性能变化,并未验证门控值是否跟踪独立测量的模态质量,因此“可靠性启发式门控”描述的是预期控制作用而非校准的概率。鲁棒性分析固定一个已训练模型,只在M3FD测试集上施加选定的测试时扰动,未在所有检测器上做相同损坏比较,零填充丢弃和零填充平移也不能完整复现真实传感器故障或配准误差。跨数据集表未纳入其他检测器的源域训练检查点,因此不构成迁移能力排名。M3FD没有单独官方验证集,88.6%应理解为公开协议下的开发结果。