多模态大模型细粒度识别不再靠猜:推理时收紧候选表并给对比提示,13个基准上平均涨约15分
核心概要
多模态大模型做细粒度识别时,视觉线索与类别概念关联不足;LIVE在推理时收紧候选类别表并按需给出类别对比提示,在13个基准上把Qwen2.5-VL-7B的平均准确率提高14.96分。
深度剖析
多模态大模型在细粒度识别上表现不佳,原因被归为推理时视觉线索与类别概念关联不足,而不是缺少感知或类别知识。 此前多数做法依赖领域后训练来补细粒度能力,代价是泛化到未见领域变差;LIVE不改参数,只在推理时调整候选类别表与识别提示。 在13个基准、24个对比方法上,LIVE把Qwen2.5-VL-7B和Qwen3-VL-8B的平均准确率分别提高14.96分和11.64分。
候选类别表越紧凑、提示越针对易混类别,模型越容易把判别性视觉线索与正确类别对上。 固定取相似度前若干名难以兼顾覆盖正确类别与压制竞争类别;LIVE先用视觉相关性排序,再用类别间混淆关系补回可能被漏掉的正确类别。 在Flower数据集上,4-shot设置平均只保留7.5个候选类别,正确类别覆盖率超过97%,而固定取前10名的覆盖率不到90%。
类别知识被组织成可复用的技能,识别时按不确定度决定是否调用详细内容。 对所有候选都附加详细提示会引入干扰;LIVE先用类别名与简述做初判,仅对高熵预测按首词匹配找出易混类别,再补上这些类别的视觉清单与对比知识。 在Flower与CUB上,按易混类别定向调用把详细提示覆盖的类别数从平均10.28降到6.99,平均准确率从55.63%升到57.00%。
启示与展望
报告面向做视觉识别与多模态推理的研究人员和工程师,覆盖细粒度图像识别、细粒度动作识别以及通用与分布外图像识别三类场景,评测在13个基准上完成,骨干为Qwen2.5-VL-7B与Qwen3-VL-8B,视觉相关性由CLIP ViT-B/16或SigLIP提供。方法不更新模型参数,需要每类若干参考样本构建类别间混淆关系与类别技能,默认使用4-shot参考集。作者提出后续将考察视觉问答、视觉定位与视频时序定位中是否存在类似现象,并把方法扩展到更广的识别场景。
现象与缓解策略建立在类别到图像注意力可作为视觉线索与类别概念关联强度的代理这一假设之上,该假设的合理性由观测到的注意力与识别同步变化支持。候选收紧的低风险性依赖正确类别保留概率满足理论阈值,实际覆盖率在评测设置中较高但并非保证。熵阈值与候选预算等超参数在全部数据集上固定,作者报告在合理范围内结果稳定,但未给出跨更大分布偏移的保证。
