# PLANE即插即用细粒度视觉专家

大型视觉语言模型的幻觉部分源于CLIP式视觉编码器偏爱主体、忽略细节。PLANE在CLIP上挂三个LoRA视觉专家，分别学习物体、属性与关系三个方面的图文对应，再由一个按指令分配权重的门控网络在词元级别融合四路图像特征。它只在LLaVA-1.5 7B上训练一次，即可直接接入使用同一视觉编码器的其他模型；在LLaVA-1.5 7B上，MME幻觉子集总分由555.38升至582.34，GIFT幻觉率由23.39%降至20.30%。

大型视觉语言模型的幻觉部分源于CLIP式视觉编码器偏爱主体、忽略细节。PLANE在CLIP上挂三个LoRA视觉专家，分别学习物体、属性与关系三个方面的图文对应，再由一个按指令分配权重的门控网络在词元级别融合四路图像特征。它只在LLaVA-1.5 7B上训练一次，即可直接接入使用同一视觉编码器的其他模型；在LLaVA-1.5 7B上，MME幻觉子集总分由555.38升至582.34，GIFT幻觉率由23.39%降至20.30%。