大脑体素不再只配一个语义单元:SAIL把多层稀疏特征合到一起,冗余更低、语义对齐更高
多模态大模型与人脑视觉表征的相似度此前只能说明两者“像”,说不清像在哪些语义上。SAIL把体素解释改写为体素与多个稀疏语义单元之间的对应问题:先在多模态大模型多层表征上联合训练跨层稀疏自编码器,再为每个体素匹配多个单元,并用最优传输比较双方最偏好图像集合的语义相似度。在自然场景数据集八名被试上,跨层联合训练相比逐层独立训练降低了单元响应冗余,并在全皮层与选择性感兴趣区都取得更高的语义相似度。
多模态大模型与人脑视觉表征的相似度此前只能说明两者“像”,说不清像在哪些语义上。SAIL把体素解释改写为体素与多个稀疏语义单元之间的对应问题:先在多模态大模型多层表征上联合训练跨层稀疏自编码器,再为每个体素匹配多个单元,并用最优传输比较双方最偏好图像集合的语义相似度。在自然场景数据集八名被试上,跨层联合训练相比逐层独立训练降低了单元响应冗余,并在全皮层与选择性感兴趣区都取得更高的语义相似度。
SAIL团队提出开源科学智能体模型SAIL(35B总参数、3B激活参数),通过“科学感知改进循环”让前沿模型智能体诊断其任务失败并据此从论文与代码库构建训练任务,再经监督微调、专家训练、多教师在线策略蒸馏与智能体强化学习训练;在13项评测中全面优于基座模型,并在SciCode与ArxivDIGESTables上取得对比最高分。
已读完全部报道