跳到主要内容
返回时间线
arXiv来源发表:

未见受试者的脑电也能重建图像:SPSC只用无标签批次统计,CLIP从0.552升到0.713

核心概要

跨受试者脑电到图像重建此前依赖源受试者学到的语义嵌入,遇到未标注的新受试者时,这些嵌入会偏离图像嵌入流形。SPSC在训练端用物体掩码对比正则保留同一物体概念的语义邻域,在推理端用图像原型的主成分子空间和无标签目标脑电批次统计挑选语义候选。在THINGS-EEG十名受试者的留一受试者评估中,重建的CLIP得分从0.552升到0.713,Alex.5从0.612升到0.745。

AI-generated editorial illustration: SPSC: Zero-Shot Cross-Subject EEG-to-Image Reconstruction via Semantic Preservation and Subspace Calibration

深度剖析

跨受试者脑电重建可以在没有目标受试者标签和图像嵌入的条件下进行语义校正,SPSC把校正放在脑电投影器之后,只修改送入扩散先验和生成器的语义条件。 此前的脑电到图像方法主要优化单次试次与单张图像的一对一配对对齐,源受试者训练出的投影器用于新受试者时,嵌入的全局分布和局部坐标会偏离图像嵌入流形。 在THINGS-EEG十名受试者的留一受试者设置下,SPSC的重建读取得分在CLIP上从0.552升到0.713,在Alex.5上从0.612升到0.745,对照为Li等人的方法。

训练端的物体掩码对比正则把同一物体概念的不同图像当作正样本,使同一概念的脑电响应在条件空间中保持相邻。 只做配对对齐时,同一物体概念下的不同图像会被当作互不相关的负样本,条件空间停留在离散的匹配对上。 在跨受试者Sub-08的消融中,加入该正则后CLIP从0.527升到0.679,在此基础上再启用重建读取的语义校正,CLIP进一步升到0.723。

推理端的子空间候选门在图像原型的PCA子空间中构造候选语义,并用无标签目标脑电批次统计做分布对齐,再按与训练原型的余弦置信度逐样本选择。 校正规则和超参数只用源受试者拟合,目标受试者一侧只使用未标注的脑电批次统计,刺激身份和图像嵌入仅在推理结束后用于评估。 在Sub-08测试上,置信度选择器在检索读取上取得24.0的Top-1,固定k256为23.5,候选平均为21.0,事后按测试排名挑选的参考上界为27.0。

启示与展望

评估只在THINGS-EEG数据集上完成,采用十名受试者的留一受试者协议,重建流程基于SDXL-Turbo与IP-Adapter,全部实验在单块24 GB的RTX 4090上运行。目标受试者的脑电以批次形式到达,推理时只使用其未标注统计量,刺激身份和图像嵌入在推理结束后才用于评估。

材料把THINGS-EEG列为该工作唯一公开可用的数据集,因此结论的适用范围限于这一数据集与这批受试者。定性结果中仍存在从类别完全丢失到只保留衣着、交通等粗线索而丢失物体身份的错误,家具和电子设备的目视外观与几何恢复偏弱。置信度选择与事后按测试排名挑选的参考之间仍有差距。