Guoyuan Yang

多模态大模型与人脑视觉表征的相似度此前只能说明两者“像”，说不清像在哪些语义上。SAIL把体素解释改写为体素与多个稀疏语义单元之间的对应问题：先在多模态大模型多层表征上联合训练跨层稀疏自编码器，再为每个体素匹配多个单元，并用最优传输比较双方最偏好图像集合的语义相似度。在自然场景数据集八名被试上，跨层联合训练相比逐层独立训练降低了单元响应冗余，并在全皮层与选择性感兴趣区都取得更高的语义相似度。

多模态大模型与人脑视觉表征的相似度此前只能说明两者“像”，说不清像在哪些语义上。SAIL把体素解释改写为体素与多个稀疏语义单元之间的对应问题：先在多模态大模型多层表征上联合训练跨层稀疏自编码器，再为每个体素匹配多个单元，并用最优传输比较双方最偏好图像集合的语义相似度。在自然场景数据集八名被试上，跨层联合训练相比逐层独立训练降低了单元响应冗余，并在全皮层与选择性感兴趣区都取得更高的语义相似度。