Nagham Omar

该工作提出 Stability-Aware Generalization Objective（SAGO）框架，把大语言模型的泛化定义为同一输入在语义等价变体下行为的逐样本稳定性，并在生成一致性、内部激活、置信度与响应镜像四个行为轴上，对十一个开源与闭源模型、六个数据集进行评测，发现所有模型至少在某一轴上超出显著性阈值，各轴捕捉相互独立的失败模式，且跨数据集的变化足以反转模型排名。

该工作提出 Stability-Aware Generalization Objective（SAGO）框架，把大语言模型的泛化定义为同一输入在语义等价变体下行为的逐样本稳定性，并在生成一致性、内部激活、置信度与响应镜像四个行为轴上，对十一个开源与闭源模型、六个数据集进行评测，发现所有模型至少在某一轴上超出显著性阈值，各轴捕捉相互独立的失败模式，且跨数据集的变化足以反转模型排名。

研究者构建了MIST（误导性图像压力测试），包含200个英文句子，每句含一个可作字面或比喻解读的短语，并分别配以与句意一致的图像、与句意相反的图像或不配图像；在13个视觉语言模型评审员上，配一致图像改变20.5%的标签、配误导图像改变19.4%，而仅删除“忽略图像”指令、图像保留只改变11.6%，且两张图像之间出现分歧的标签中只有37%朝图像所示含义移动，与人类标注者的一致率在无图、一致图、误导图三种情况下基本不变。

研究者构建了MIST（误导性图像压力测试），包含200个英文句子，每句含一个可作字面或比喻解读的短语，并分别配以与句意一致的图像、与句意相反的图像或不配图像；在13个视觉语言模型评审员上，配一致图像改变20.5%的标签、配误导图像改变19.4%，而仅删除“忽略图像”指令、图像保留只改变11.6%，且两张图像之间出现分歧的标签中只有37%朝图像所示含义移动，与人类标注者的一致率在无图、一致图、误导图三种情况下基本不变。