选对图像也挡不住干扰:Qwen2.5-VL在五张干扰图下靠答案一致性正则把圆形准确率提高16个百分点
视觉语言模型在目标图像旁混入无关图像时准确率明显下降,即使提示直接点名目标图像,干扰仍会通过中间层“干扰图到文本”的连接影响推理。研究在Qwen2.5-VL上以单图预测为参照,用答案一致性正则对齐有干扰与无干扰时的答案分布,在五个感知基准、五张干扰图条件下把圆形准确率平均提高16个百分点,同时保持单图性能。
视觉语言模型在目标图像旁混入无关图像时准确率明显下降,即使提示直接点名目标图像,干扰仍会通过中间层“干扰图到文本”的连接影响推理。研究在Qwen2.5-VL上以单图预测为参照,用答案一致性正则对齐有干扰与无干扰时的答案分布,在五个感知基准、五张干扰图条件下把圆形准确率平均提高16个百分点,同时保持单图性能。
推理视觉语言模型的KV缓存既要装下多模态输入,又要随推理链不断增长,现有低秩压缩按静态输入校准,生成越长与稠密模型的预测偏差越大。TraceKV把校准激活改为稠密模型自己生成的推理轨迹,并按各KV状态对策略散度的敏感度加权做SVD,再在全局预算下分配秩。在Qwen2.5-VL-7B等四个模型上,70%秩比叠加4位量化时总体准确率73.41%,稠密模型为73.58%,KV缓存缩小5.64倍。
ZoomGain 是一条数据构建流程,它比较同一区域在全图与放大视图下的描述,把只有放大后才明确的细节改写成针对整张图的问答,并用多个模型在放大视图上核验答案、剔除仅凭语言先验即可作答的题目。据此构建的 1000 题中英双语基准 ZoomGainBench 上,28 个视觉语言模型里最好的 GPT-5.6-Sol 只得 61.08;用 9K 条 ZoomGain 样本做 GRPO 强化学习后,Qwen3.5-9B 在 13 项留出基准上的平均分为 66.10,高于 Qwen3.5-397B-A17B 的 65.55。
基于大视觉语言模型的逻辑异常检测把每条约束拆成文本清单逐项核对,但每项读到的仍是同一张原始图像,模型必须从同一输入里提取不同形态的视觉证据。CASCADE把分解扩展到图像一侧,按约束类型叠加逐实例着色或物体锚定网格;CASCADE++再从约束结构和参考分布推导脚手架配置。在MVTec-LOCO上,CASCADE++仅用三张参考图、不做训练即超过全量训练的最强方法,并迁移到多个视觉语言模型骨干。
临床脑电图判读长期依赖专家逐页查看,近年出现的EEG基础模型则要先在大规模无标注脑电上预训练。研究把脑电片段画成临床医生熟悉的双极导联波形图或频谱图,连同固定文本提示一起交给通用视觉语言模型Qwen3-VL,不做任何EEG预训练。在4秒发作间期癫痫样放电检测的vEpiSet上,Qwen3-VL-4B经LoRA适配取得0.835平衡准确率,高于全量微调的BIOT的0.763;在TUEV的EEG-Bench划分上,Qwen3-VL-8B以0.750略高于0.739的次优单任务模型。
多模态模型能答题、能检索,但具体哪块图像与哪个词共同推高某个输出分数,此前难以量化。MultiSHAP用合作博弈论中的Shapley交互指数,在只能查询、不能读取参数或梯度的条件下,为每一对图像块与文本词元估计协同或抑制的二阶交互。在VQAv2的500个样本上,按该矩阵排序删除图像块使目标答案概率平均下降0.1720,而删除排名最低的图像块仅下降0.0032。
海底影像的层级多标签分类长期依赖颜色、纹理和形状等低层视觉特征,稀有类与光照变化让模型难以稳定判别。GHiML从视觉语言模型中提取与训练数据相关的概念变量,生成逐样本描述文本,再经交叉注意力与逐节点门控路由把文本嵌入和图像嵌入融合。在BenthicNet、FathomNet与iNaturalist上,路由模型相对纯视觉基线的宏F1最多提升6.7个百分点,域内底栖数据上最多提升21.1个百分点,分布偏移下增益仍然存在。
遥感图像融合与语义理解长期分开优化,融合指标好并不保证下游检索和检测能用。Lance把每幅输入映射成由场景、物体、布局组成的封闭词表文本记录,用这段语言条件引导融合,再把融合结果重新描述成文本,以文本一致性和带负查询的文本—掩码对比损失回传梯度。在GF2、QuickBird、WorldView-III、WorldView-II四个传感器七个测试集上,降尺度参考指标相对最强学习基线最高提升11.7%、中位2.1%;用训练时未见的RemoteCLIP和DOTA监督检测器评估,检测mAP@0.5比最接近的对比方法高6.4。
胸片视觉语言模型能写出通顺报告,却常把图像里没有的征象写进去,而此前的改进多依赖强化学习、偏好优化或思维链监督,需要重新训练生成器。CheXPoT改为在报告生成之后处理:把报告拆成可核对的谓词,用胸片分类模型和Grad-CAM定位出的视觉证据表逐条判定,删去无法被图像支持的谓词再改写报告。在4,145张图像的留出集上,MedGemma-4B报告的微平均精确率由19.2%升至46.8%,微平均F1由23.0%升至49.4%,14个CheXpert类别中8类的精确率提升具有统计显著性,精确率与F1均无显著下降。
主观类别(如“健康食品”)的边界因人、因文化而变,传统流程却要求用户一开始就给出稳定标签。Google Research 的 Agile Deliberation 把分类器构建拆成概念界定与概念迭代两步:先让用户把大概念拆成子类与明确排除项,再用视觉语言模型挑出语义上处于边界的图像请用户判断,反馈直接进入自动提示优化循环。在 18 场、每场 1.5 小时的真人会话中,参与者经此流程构建的分类器在最具挑战性的主观图像上明显优于所比较的标准基线,并报告更低的疲劳与焦虑。