视觉语言模型的幻觉改从视觉编码器下手：三个LoRA专家各管一面，换模型不必重训
核心概要
大型视觉语言模型的幻觉部分源于CLIP式视觉编码器偏爱主体、忽略细节。PLANE在CLIP上挂三个LoRA视觉专家，分别学习物体、属性与关系三个方面的图文对应，再由一个按指令分配权重的门控网络在词元级别融合四路图像特征。它只在LLaVA-1.5 7B上训练一次，即可直接接入使用同一视觉编码器的其他模型；在LLaVA-1.5 7B上，MME幻觉子集总分由555.38升至582.34，GIFT幻觉率由23.39%降至20.30%。
深度剖析
抑制视觉语言模型幻觉的一条新路径是把改动放在视觉编码器一侧，而不是在解码阶段加策略或在生成之后请另一个模型改稿。 此前的做法分三类：VCD、OPERA一类在推理阶段干预输出，会增加推理时间；Volcano、LURE一类用修订模型事后纠正文本，既拖慢出结果，也不触及模型内部的成因；LRV一类靠更稳健的数据集微调，换一个模型往往要重新训练。 在MME幻觉子集上，接入PLANE后LLaVA-1.5 7B总分从555.38升到582.34，Mini-Gemini 7B从560.54升到586.11，Parrot 7B从626.12升到647.78，Otter 7B从445.67升到464.67，Vary Toy 1.8B从433.66升到471.34，LLaVA 13B从300.01升到319.67。
三个专家分别对应图像的物体、属性和空间关系，融合权重随用户指令逐词元变化，因此同一套模块能按问题取用不同侧面的视觉信息。 三个LoRA专家是在CLIP编码器上训练的轻量适配模块，各自只在一个方面的图文对上做对比学习，并额外用人为构造的幻觉描述作负样本；门控网络Ins-Gate由交叉注意力层和前馈网络组成，输出每个图像词元在四路表示上的权重。 训练数据共38,375个样本，其中图像-物体描述对7,800个、图像-属性描述对18,121个、图像-关系描述对12,454个；整个训练过程冻结视觉语言模型的原有参数，第一阶段按CLIP范式训练专家，第二阶段只训练Ins-Gate。
配套的评测基准GIFT把幻觉判定从GPT-4手里拿回来，改由在Llama 3上训练的Llama-Judge完成。 此前的生成式幻觉基准中，CHAIR与AMBER只覆盖物体层面，Faithscore虽覆盖多个层面却依赖ChatGPT判定，成本高且难以扩展。 GIFT从DCI数据集的验证集与测试集中选取206张图像，人工标注2,120个场景图三元组；在Vary Toy上，Llama-Judge与人工判断的一致率为83.70%，GPT-4为71.81%。
启示与展望
演示范围是接入同一CLIP视觉编码器的视觉语言模型：专家在CLIP-ViT-L-224与CLIP-ViT-L-336两种编码器上训练，PLANE只在LLaVA-1.5 7B上训练后直接用于Mini-Gemini 7B、Parrot 7B、Otter 7B、Vary Toy 1.8B与LLaVA 13B。评测覆盖MME幻觉子集、GIFT、AMBER与POPE，实验在两块NVIDIA A800（80GB）上完成。
GIFT的规模仍然有限，作者把扩大该基准列为后续目标；现有缓解方法主要面向单图输入，多图场景下的策略尚未展开。在MME全量集上，接入PLANE后不同模型在各子任务上的走势并不一致，作者将其归因于模型架构与训练数据的差异。