多模态融合不再牺牲语义：攻防博弈把语义图叠进融合图，分割mIoU提升1.5

多模态图像融合现在可以把视觉质量和语义属性分开优化，再合并成一张图，而不必在两者之间做取舍。 此前的融合方法要么只优化视觉外观、忽略下游分割所需的语义，要么把分割模型与融合模型强行耦合、联合优化，结果两方面都打折扣。 在MFNet和FMB两个数据集上，该方法在六项视觉指标中分别有四项和五项排名第一，分割mIoU比第二名高出1.5和1.73。

做法分两步：先冻结一个只负责视觉的融合网络，再让攻击者和防御者轮流修改这张图。 攻击者学习一种扰动模式，专门破坏下游分割；防御者则从原始输入中恢复丢失的语义，通过一张不可察觉的语义图重新叠加回融合图。 训练在MFNet的784对训练样本和393对测试样本、FMB的1220对训练样本和280对测试样本上进行，分割网络以OverLock-B为骨干，只更新其辅助头和解码器。

这套攻防机制可以接到别的融合方法上，作为语义增强模块使用。 把ADG分别部署到五种已有融合方法上，这些方法原本生成的融合图作为输入，再经过攻防训练进行语义强化。 在五种融合方法上，接入ADG后分割性能都获得了一致的提升。

该方法在MFNet和FMB两个数据集上验证了视觉质量与分割语义的同时提升，并零样本扩展到偏振图像融合和近红外-可见光融合。分割评估使用OverLock-B骨干网络，攻防训练阶段只更新其辅助头和解码器。当前强化针对全局语义，作者提出后续用视觉语言模型结合语言指令实现更细粒度、可控的语义强化。

作者指出当前方法聚焦全局语义强化，对需要额外关注的特定目标缺乏灵活性，这是其明确提出的待解决问题。攻防训练采用交替优化，攻击阶段与联合防御阶段轮流进行，分割网络的学习率乘以一个缩放系数以保持稳定。