海底图像分类不再只靠颜色纹理：GHiML借视觉语言模型补语义，域内底栖数据宏F1最多升21.1个百分点
核心概要
海底影像的层级多标签分类长期依赖颜色、纹理和形状等低层视觉特征，稀有类与光照变化让模型难以稳定判别。GHiML从视觉语言模型中提取与训练数据相关的概念变量，生成逐样本描述文本，再经交叉注意力与逐节点门控路由把文本嵌入和图像嵌入融合。在BenthicNet、FathomNet与iNaturalist上，路由模型相对纯视觉基线的宏F1最多提升6.7个百分点，域内底栖数据上最多提升21.1个百分点，分布偏移下增益仍然存在。
深度剖析
海底影像的层级多标签分类多了一条来自视觉语言模型的语义通道，与图像特征并行进入分类器，而不是让视觉语言模型直接输出物种标签。 此前的视觉Transformer主要依赖颜色、纹理和形状这类低层视觉潜变量，缺少人类识别时使用的高层推理信息；直接零样本调用视觉语言模型又无法给出符合分类体系的预测。 在BenthicNet、FathomNet和iNaturalist三个数据集上，带门控路由的模型在几乎所有设置中表现最强，相对纯视觉基线的宏F1最多提升6.7个百分点，域内底栖数据上最多提升21.1个百分点，且各随机种子下方法排序一致。
做法是先把视觉语言模型当作概念来源，让它针对训练数据提出与分类层级相关的语义变量，再为每张图生成带这些变量的描述文本。 这些变量被要求偏离颜色、纹理等低层视觉潜变量，并经过期望最大化消歧、向先验平滑和按KL散度筛选，最终每个域通常保留15到20个变量。 图像用DINOv3 ViT-H编码，描述文本用Qwen3-Embedding-8B编码，交叉注意力以图像为查询、文本为键值，门控路由按节点和样本给出三种模态的softmax权重；整个流程不需要微调视觉语言模型，也不需要生成模型合成训练图像。
文本带来的增益主要体现为对层级中大致位置的先验，而不是同一子树内更细的区分。 在BN-Bio的171个有足够支持的节点中，文本分支在75个节点上倒排HML分数更高却未能用宏F1识别出该节点，反过来的情况只有6个。 把逐样本文本信号替换为均值向量后，BN-Bio上倒排HML分数下降而宏F1不变，说明变化来自预测标签数量；单标签的iNaturalist上宏F1则下降18.7%。
启示与展望
已展示的范围是BenthicNet的底质与生物两个任务、FathomNet以及iNaturalist上的层级多标签分类，覆盖域内与地理或人工筛选形成的域外测试划分；方法面向需要在消费级GPU上运行的专业领域实验室。
变量与描述的质量受视觉语言模型预训练语料限制，研究软珊瑚等研究较少的类群可能得到更浅或不准的变量；变量与文本增益之间的相关性是观察性的，不能确立单个变量改善分类的因果机制；倒排HML分数把所有层级边视为等权，且基数惩罚强度由用户设定的参数控制。