MIST压力测试:给VLM评审员加一张图,约两成标签改变,且与图的内容无关
研究者构建了MIST(误导性图像压力测试),包含200个英文句子,每句含一个可作字面或比喻解读的短语,并分别配以与句意一致的图像、与句意相反的图像或不配图像;在13个视觉语言模型评审员上,配一致图像改变20.5%的标签、配误导图像改变19.4%,而仅删除“忽略图像”指令、图像保留只改变11.6%,且两张图像之间出现分歧的标签中只有37%朝图像所示含义移动,与人类标注者的一致率在无图、一致图、误导图三种情况下基本不变。
研究者构建了MIST(误导性图像压力测试),包含200个英文句子,每句含一个可作字面或比喻解读的短语,并分别配以与句意一致的图像、与句意相反的图像或不配图像;在13个视觉语言模型评审员上,配一致图像改变20.5%的标签、配误导图像改变19.4%,而仅删除“忽略图像”指令、图像保留只改变11.6%,且两张图像之间出现分歧的标签中只有37%朝图像所示含义移动,与人类标注者的一致率在无图、一致图、误导图三种情况下基本不变。
已读完全部报道