海底图像分类不再只靠颜色纹理:GHiML借视觉语言模型补语义,域内底栖数据宏F1最多升21.1个百分点
海底影像的层级多标签分类长期依赖颜色、纹理和形状等低层视觉特征,稀有类与光照变化让模型难以稳定判别。GHiML从视觉语言模型中提取与训练数据相关的概念变量,生成逐样本描述文本,再经交叉注意力与逐节点门控路由把文本嵌入和图像嵌入融合。在BenthicNet、FathomNet与iNaturalist上,路由模型相对纯视觉基线的宏F1最多提升6.7个百分点,域内底栖数据上最多提升21.1个百分点,分布偏移下增益仍然存在。