跳到主要内容

研究进展

相关研究与后续进展

同一研究事件下的公开文章与后续进展。

arXiv

多模态大模型能编码图表信息却无法将其传递到预测位置,研究用逐层线性探针与注意力分析解释了表格-图表验证差距

该研究针对多模态大模型在科学论断验证中表格证据表现明显优于同源数据图表证据的现象,用逐层线性探针与注意力分析考察三个开放权重视觉语言模型,发现图表信息确实被编码进中间表示但未能到达预测位置,而表格不存在这一断连,且该断连在不同模型家族中呈现两种架构上不同的形式,从而把表格-图表差距重新界定为预测阶段对已编码视觉信息的使用失败而非编码失败。